JP6786451B2 - Monitoring system - Google Patents

Monitoring system Download PDF

Info

Publication number
JP6786451B2
JP6786451B2 JP2017136217A JP2017136217A JP6786451B2 JP 6786451 B2 JP6786451 B2 JP 6786451B2 JP 2017136217 A JP2017136217 A JP 2017136217A JP 2017136217 A JP2017136217 A JP 2017136217A JP 6786451 B2 JP6786451 B2 JP 6786451B2
Authority
JP
Japan
Prior art keywords
warning
unit
state
release operation
monitored person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017136217A
Other languages
Japanese (ja)
Other versions
JP2018195280A (en
Inventor
石橋　秀一
秀一 石橋
後藤　潤
潤 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to US15/974,123 priority Critical patent/US11117515B2/en
Priority to CN201810474672.4A priority patent/CN108944667B/en
Priority to DE102018207731.2A priority patent/DE102018207731A1/en
Publication of JP2018195280A publication Critical patent/JP2018195280A/en
Application granted granted Critical
Publication of JP6786451B2 publication Critical patent/JP6786451B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、監視システムに関する。 The present invention relates to a monitoring system.

車両に搭載される従来の監視システムとして、例えば、特許文献１には、検出手段と、判定手段と、通知手段と、停車手段とを備える運転者監視装置が開示されている。検出手段は、カメラにより撮影された車両の運転席の画像に基づいて、運転者の姿勢崩れを検出する。判定手段は、検出手段により検出された運転者の姿勢崩れが、運転者の癖による姿勢崩れか否か判定する。通知手段は、判定手段により癖による姿勢崩れと判定された場合と、判定手段により癖以外の姿勢崩れと判定された場合とで、異なる態様により運転者に姿勢崩れに関する通知を行う。停車手段は、通知手段により注意を喚起した後に運転者の姿勢が改善されず、かつ、予め定められた条件が成立した場合に、車両を安全に停車させる信号を車両制御装置へ出力する。 As a conventional monitoring system mounted on a vehicle, for example, Patent Document 1 discloses a driver monitoring device including a detecting means, a determining means, a notification means, and a stopping means. The detection means detects the driver's posture collapse based on the image of the driver's seat of the vehicle taken by the camera. The determining means determines whether or not the posture collapse of the driver detected by the detecting means is the posture collapse due to the driver's habit. The notification means notifies the driver of the posture collapse in different modes depending on whether the determination means determines the posture collapse due to the habit or the determination means determines the posture collapse other than the habit. The vehicle stop means outputs a signal to the vehicle control device to safely stop the vehicle when the driver's posture is not improved after calling attention by the notification means and a predetermined condition is satisfied.

特開２０１６−０３８７９３号公報Japanese Unexamined Patent Publication No. 2016-0387993

ところで、上述の特許文献１に記載の運転者監視装置は、例えば、無駄な車両停止等が行われることで煩わしさを感じさせるおそれがある。運転者監視装置は、この点を踏まえてより適正な監視を実現すべく更なる改善の余地がある。 By the way, the driver monitoring device described in Patent Document 1 described above may cause annoyance due to, for example, useless vehicle stop. Based on this point, the driver monitoring device has room for further improvement in order to realize more appropriate monitoring.

本発明は、上記の事情に鑑みてなされたものであって、車両の室内の監視対象者を適正に監視することができる監視システムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a monitoring system capable of appropriately monitoring a person to be monitored in a vehicle interior.

上記目的を達成するために、本発明に係る監視システムは、車両の室内の監視対象者の異常を検知した際に警告を出力する監視装置と、前記車両の天井の前記室内側の面に設けられた筐体と、前記筐体の外面に露出して設けられ警告解除操作を入力可能である解除操作部とを備え、前記監視装置は、前記車両の前記室内に３次元で仮想される状態判定領域として、正常領域、当該正常領域の外側に設定された注意喚起領域、及び、当該注意喚起領域の外側に設定された警告領域に対する前記監視対象者の頭部の位置に基づいて、前記監視対象者の状態を、正常状態、注意喚起状態、及び、警告状態の３つの状態に区別して判定し、前記監視対象者の状態が注意喚起状態であるものと判定された場合、前記警告の前段階として注意喚起を出力し、前記監視対象者の状態が警告状態であるものと判定された場合、前記警告を出力し、前記警告を出力している状態で、前記解除操作部に前記警告解除操作が入力された場合に、前記警告を解除する一方、予め定められた支援開始条件が成立したら、前記車両を統括的に制御する車両ＥＣＵによって当該車両に搭載されるアクチュエータの動作を制御させ支援を行わせる支援制御を実行させることを特徴とする。
また、上記監視システムでは、前記監視装置は、前記支援開始条件として、予め設定された支援開始判定期間が経過した場合に、前記車両ＥＣＵによって前記アクチュエータの動作を制御させ、前記支援として、前記車両の自動減速、自動停止、又は、緊急連絡先への通報を行わせる前記支援制御を実行させるものとすることができる。 In order to achieve the above object, the monitoring system according to the present invention is provided with a monitoring device that outputs a warning when an abnormality of a monitored person in the vehicle interior is detected, and a monitoring device on the interior side surface of the vehicle ceiling. A state in which the monitoring device is three-dimensionally virtualized in the interior of the vehicle , comprising a housing provided and a release operation unit exposed on the outer surface of the housing and capable of inputting a warning release operation. As the determination area, the monitoring is based on the position of the head of the monitored person with respect to the normal area, the alert area set outside the normal area, and the warning area set outside the alert area. The state of the target person is determined by distinguishing it into three states, a normal state, a warning state, and a warning state, and when it is determined that the state of the monitored person is a warning state, before the warning. A warning is output as a step, and when it is determined that the state of the monitored person is a warning state, the warning is output, and while the warning is being output , the warning is released to the release operation unit. When an operation is input, the warning is canceled, and when a predetermined support start condition is satisfied, the vehicle ECU that collectively controls the vehicle controls the operation of the actuator mounted on the vehicle to support the vehicle. It is characterized in that the support control is executed.
Further, in the monitoring system, the monitoring device causes the vehicle ECU to control the operation of the actuator when a preset support start determination period elapses as the support start condition, and the vehicle as the support. It is possible to execute the support control for automatically decelerating, automatically stopping, or reporting to the emergency contact.

また、上記監視システムでは、前記監視装置は、前記筐体に設けられるものとすることができる。 Further, in the monitoring system, the monitoring device may be provided in the housing.

また、上記監視システムでは、前記監視装置は、前記車両の前記室内に３次元で仮想される状態判定領域に対する前記監視対象者の位置に基づいて前記警告を出力するものとすることができる。 Further, in the monitoring system, the monitoring device can output the warning based on the position of the monitored person with respect to the state determination area virtualized three-dimensionally in the room of the vehicle.

また、上記監視システムでは、前記解除操作部を照明する照明部を備えるものとすることができる。 Further, the monitoring system may be provided with a lighting unit that illuminates the release operation unit.

また、上記監視システムでは、前記解除操作部、及び、当該解除操作部を照明する前記照明部は、複数組設けられ、前記監視装置によって前記警告が出力される際にいずれか１組の動作が有効とされ、他の組の動作が無効とされ、動作が有効とされた前記照明部は、前記解除操作部を照明し、動作が無効とされた前記照明部は、前記解除操作部を照明せず、前記監視装置は、前記警告を出力している状態で、動作が有効とされた前記解除操作部に前記警告解除操作が入力された場合に、前記警告を解除し、動作が無効とされた前記解除操作部に前記警告解除操作が入力された場合に、前記警告を解除しないものとすることができる。 Further, in the monitoring system, a plurality of sets of the release operation unit and the lighting unit that illuminates the release operation unit are provided, and when the warning is output by the monitoring device, any one set of operations is performed. The lighting unit which is enabled, the operation of the other set is invalidated, and the operation is enabled illuminates the release operation unit, and the lighting unit whose operation is invalid illuminates the release operation unit. Instead, the monitoring device cancels the warning and invalidates the operation when the warning release operation is input to the release operation unit whose operation is enabled while the warning is being output. When the warning release operation is input to the release operation unit, the warning may not be released.

また、上記監視システムでは、前記照明部は、前記監視装置による前記監視対象者の状態の検知結果に基づいて、前記解除操作部の照明態様を可変するものとすることができる。 Further, in the monitoring system, the lighting unit can change the lighting mode of the release operation unit based on the detection result of the state of the monitored person by the monitoring device.

本発明に係る監視システムは、監視対象者が異常な状態ではないにもかかわらず監視装置によって警告が出力された場合であっても監視対象者によって解除操作部に警告解除操作が入力されることで当該警告を解除することができる。この結果、監視システムは、監視対象者の状態をより正確に把握することができるので、車両の室内の監視対象者を適正に監視することができる、という効果を奏する。 In the monitoring system according to the present invention, even if the monitoring target person outputs a warning even though the monitoring target person is not in an abnormal state, the monitoring target person inputs the warning release operation to the release operation unit. You can cancel the warning with. As a result, the monitoring system can more accurately grasp the state of the monitored person, and thus has the effect of being able to properly monitor the monitored person in the vehicle interior.

図１は、実施形態１に係る監視システムの概略構成を表すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a monitoring system according to the first embodiment. 図２は、実施形態１に係る監視システムが適用される車両の室内の概略構成を表す部分的な模式図である。FIG. 2 is a partial schematic view showing a schematic configuration of the interior of a vehicle to which the monitoring system according to the first embodiment is applied. 図３は、実施形態１に係る監視システムが適用される車両の室内における状態判定領域について説明する模式図である。FIG. 3 is a schematic diagram illustrating a state determination region in the interior of the vehicle to which the monitoring system according to the first embodiment is applied. 図４は、実施形態１に係る監視システムによって実行される監視制御について説明するフロー図である。FIG. 4 is a flow chart for explaining the monitoring control executed by the monitoring system according to the first embodiment. 図５は、実施形態２に係る監視システムの概略構成を表すブロック図である。FIG. 5 is a block diagram showing a schematic configuration of the monitoring system according to the second embodiment. 図６は、実施形態２に係る監視システムが適用される車両の室内の概略構成を表す部分的な模式図である。FIG. 6 is a partial schematic view showing a schematic configuration of the interior of a vehicle to which the monitoring system according to the second embodiment is applied. 図７は、実施形態２に係る監視システムによって実行される監視制御について説明するフロー図である。FIG. 7 is a flow chart illustrating the monitoring control executed by the monitoring system according to the second embodiment.

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 Hereinafter, embodiments according to the present invention will be described in detail with reference to the drawings. The present invention is not limited to this embodiment. In addition, the components in the following embodiments include those that can be easily replaced by those skilled in the art, or those that are substantially the same.

［実施形態１］
図１、図２に示す本実施形態に係る監視システム１は、車両１００に搭載され、当該車両１００の室内１０１の監視対象者ＯＢを監視し、監視対象者ＯＢが異常である場合に様々な処理を行う車載システム（ドライバ異常時対応システム）である。監視対象者ＯＢは、監視システム１による監視の対象者である。監視対象者ＯＢは、車両１００の室内１０１に乗車した搭乗者であり、ここでは、車両１００の運転者である。そして、本実施形態の監視システム１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、種々の機能を統合したオーバーヘッドモジュール（ＯＨＭ：Ｏｖｅｒ−Ｈｅａｄ Ｍｏｄｕｌｅ）を構成する。以下、各図を参照して監視システム１の構成について詳細に説明する。 [Embodiment 1]
The monitoring system 1 according to the present embodiment shown in FIGS. 1 and 2 is mounted on the vehicle 100 and monitors the monitored person OB in the room 101 of the vehicle 100, and various cases where the monitored person OB is abnormal. It is an in-vehicle system (system for responding to driver abnormalities) that performs processing. The monitored person OB is a person to be monitored by the monitoring system 1. The monitored person OB is a passenger who got into the interior 101 of the vehicle 100, and here, is the driver of the vehicle 100. The monitoring system 1 of the present embodiment is entirely provided on the surface of the ceiling 102 of the vehicle 100 on the indoor 101 side, and constitutes an overhead module (OHM: Over-Head Module) that integrates various functions. Hereinafter, the configuration of the monitoring system 1 will be described in detail with reference to each figure.

具体的には、監視システム１は、図１、図２に示すように、筐体２と、監視装置３と、解除操作部４と、外部接続部５とを備える。なお、オーバーヘッドモジュールを構成する監視システム１は、この他、例えば、マップランプ、無線通信部、アンテナ、各種操作部、電源分配部等を備えていてもよい。 Specifically, as shown in FIGS. 1 and 2, the monitoring system 1 includes a housing 2, a monitoring device 3, a release operation unit 4, and an external connection unit 5. In addition, the monitoring system 1 constituting the overhead module may also include, for example, a map lamp, a wireless communication unit, an antenna, various operation units, a power distribution unit, and the like.

筐体２は、監視システム１を構成する各部を収容するものである。筐体２は、複数の部材が組み合わさって全体として中空箱状に形成される。筐体２は、絶縁性を有する合成樹脂によって形成される。ここでは、筐体２は、内部に監視装置３、解除操作部４、及び、外部接続部５を収容し、オーバーヘッドモジュールとしてユニット化する。筐体２は、内部に収容した監視装置３、解除操作部４、外部接続部５の一部が外面に露出している。そして、本実施形態の筐体２は、車両１００の天井１０２の室内１０１側の面に設けられる。天井１０２は、ピラー等を介して車両ボデー本体に連結され当該車両ボデー本体の鉛直方向上側に支持された構造体である。車両１００は、天井１０２を鉛直方向上側の境界として、室内１０１と室外とに領域分けされる。ここでは、筐体２は、天井１０２とウインドシールド１０３との交差部分でかつ車両１００の車幅方向の略中央位置に設けられる。ウインドシールド１０３は、車両１００の前部に設けられ室内１０１と室外との境界となるものであり、フロントガラスとも呼ばれる。車両１００は、このウインドシールド１０３と天井１０２との交差部分にルームミラー１０４が設けられており、このルームミラー１０４の近傍に筐体２が設けられている。典型的には、筐体２は、車両１００を操舵するための操舵部材であるステアリング１０５（図３も参照）と対面する運転席１０６（図３も参照）に着座した運転者から手が届く位置に設けられる。 The housing 2 houses each part that constitutes the monitoring system 1. The housing 2 is formed in a hollow box shape as a whole by combining a plurality of members. The housing 2 is made of an insulating synthetic resin. Here, the housing 2 houses the monitoring device 3, the release operation unit 4, and the external connection unit 5 inside, and is unitized as an overhead module. In the housing 2, a part of the monitoring device 3, the release operation unit 4, and the external connection unit 5 housed inside is exposed on the outer surface. The housing 2 of the present embodiment is provided on the surface of the ceiling 102 of the vehicle 100 on the indoor 101 side. The ceiling 102 is a structure that is connected to the vehicle body body via pillars or the like and is supported on the upper side of the vehicle body body in the vertical direction. The vehicle 100 is divided into an indoor 101 area and an outdoor area with the ceiling 102 as the upper boundary in the vertical direction. Here, the housing 2 is provided at the intersection of the ceiling 102 and the windshield 103 and at a substantially central position in the vehicle width direction of the vehicle 100. The windshield 103 is provided at the front of the vehicle 100 and serves as a boundary between the indoor 101 and the outdoor, and is also called a windshield. The vehicle 100 is provided with a rearview mirror 104 at the intersection of the windshield 103 and the ceiling 102, and the housing 2 is provided in the vicinity of the rearview mirror 104. Typically, the housing 2 is reachable by a driver seated in the driver's seat 106 (see also FIG. 3) facing the steering 105 (see also FIG. 3), which is a steering member for steering the vehicle 100. It is provided at the position.

監視装置３は、車両１００の室内１０１の監視対象者ＯＢの状態を監視するものである。そして、監視装置３は、監視対象者ＯＢの異常を検知した際に警告を出力する。本実施形態の監視装置３は、上述したように、筐体２に設けられオーバーヘッドモジュールの一部を構成する。本実施形態の監視装置３は、一例として車両１００の室内１０１の監視対象者ＯＢとして、運転席１０６に着座した運転者の状態を監視する。具体的には、監視装置３は、検知部３１と、出力部３２と、演算部３３とを備える。 The monitoring device 3 monitors the state of the monitored person OB in the interior 101 of the vehicle 100. Then, the monitoring device 3 outputs a warning when the abnormality of the monitored person OB is detected. As described above, the monitoring device 3 of the present embodiment is provided in the housing 2 and constitutes a part of the overhead module. As an example, the monitoring device 3 of the present embodiment monitors the state of the driver seated in the driver's seat 106 as the monitored person OB in the interior 101 of the vehicle 100. Specifically, the monitoring device 3 includes a detection unit 31, an output unit 32, and a calculation unit 33.

検知部３１は、監視対象者ＯＢの状態を検知するものである。本実施形態の検知部３１は、監視対象者ＯＢの状態として、運転席１０６に着座した運転者の３次元位置を計測可能な検知器、例えば、ステレオカメラ等によって構成される。検知部３１は、例えば、ステレオカメラの撮像部が筐体２の外面に露出し、光軸が室内１０１の運転席１０６側を向くようにして当該筐体２に設けられる。ここでは、検知部３１は、監視対象者ＯＢの状態として、運転席１０６に着座した運転者の頭部の３次元位置（位置座標）を検知する。 The detection unit 31 detects the state of the monitored person OB. The detection unit 31 of the present embodiment is configured by a detector capable of measuring the three-dimensional position of the driver seated in the driver's seat 106 as the state of the monitored person OB, for example, a stereo camera or the like. The detection unit 31 is provided in the housing 2 so that, for example, the image pickup unit of the stereo camera is exposed on the outer surface of the housing 2 and the optical axis faces the driver's seat 106 side of the room 101. Here, the detection unit 31 detects the three-dimensional position (position coordinates) of the head of the driver seated in the driver's seat 106 as the state of the monitored person OB.

出力部３２は、車両１００の室内１０１に向けて、警告を含む種々の情報を出力するものである。出力部３２は、音声、警告音等の聴覚情報を出力するスピーカ、画像、文字等の視覚情報を出力するディスプレイ、ハンドル振動、座席振動、ペダル反力などの触覚情報等を出力するデバイス等のうちの少なくとも１つを含んで構成されてもよい。 The output unit 32 outputs various information including a warning toward the interior 101 of the vehicle 100. The output unit 32 includes a speaker that outputs auditory information such as voice and warning sound, a display that outputs visual information such as images and characters, and a device that outputs tactile information such as handle vibration, seat vibration, and pedal reaction force. It may be configured to include at least one of them.

演算部３３は、監視システム１の各部を統括的に制御する部分である。演算部３３は、監視対象者ＯＢの状態監視や警告出力等に関する種々の演算処理を実行する。演算部３３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。演算部３３は、検知部３１、出力部３２が電気的に接続される。また、演算部３３は、さらに、解除操作部４、外部接続部５も電気的に接続される。演算部３３は、検知結果に対応した検知信号、各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。演算部３３は、各種入力信号等に基づいて、ＲＯＭ、ＲＡＭ等の記憶部に記憶されている制御プログラムを実行することにより、各部に出力信号を出力し監視対象者ＯＢの状態監視や警告出力等に関する種々の処理を実行する。 The calculation unit 33 is a unit that comprehensively controls each unit of the monitoring system 1. The calculation unit 33 executes various calculation processes related to status monitoring, warning output, and the like of the monitored person OB. The calculation unit 33 includes a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Memory), an FPGA (Field Programmable Memory) It is configured to include electronic circuits mainly composed of well-known microcomputers including a Random Access Memory) and an interface. In the calculation unit 33, the detection unit 31 and the output unit 32 are electrically connected. Further, the calculation unit 33 is also electrically connected to the release operation unit 4 and the external connection unit 5. The calculation unit 33 can mutually exchange various electric signals such as a detection signal corresponding to the detection result and a drive signal for driving each unit with each unit. The calculation unit 33 outputs an output signal to each unit by executing a control program stored in a storage unit such as a ROM or RAM based on various input signals or the like, and monitors the status of the monitored person OB or outputs a warning. Etc. are executed.

具体的には、演算部３３は、機能概念的に、判定部３３ａ、及び、動作制御部３３ｂを含んで構成される。判定部３３ａ、及び、動作制御部３３ｂは、電気的に接続されている各種機器との間で種々の情報を授受することができる。 Specifically, the calculation unit 33 is functionally conceptually configured to include a determination unit 33a and an operation control unit 33b. The determination unit 33a and the operation control unit 33b can exchange various information with and from various electrically connected devices.

判定部３３ａは、検知部３１による監視対象者ＯＢの状態の検知結果に基づいて、監視対象者ＯＢの状態を判定する部分である。判定部３３ａは、ＲＯＭ、ＲＡＭ等の記憶部に記憶されている各種プログラムを実行し、当該プログラムが動作することにより、監視対象者ＯＢの状態を判定するために必要な様々な処理を行う。本実施形態の判定部３３ａは、検知部３１が検知した監視対象者ＯＢ（運転席１０６に着座した運転者）の頭部の３次元位置に基づいて監視対象者ＯＢの状態を判定する。 The determination unit 33a is a part that determines the state of the monitored person OB based on the detection result of the state of the monitored person OB by the detection unit 31. The determination unit 33a executes various programs stored in storage units such as ROM and RAM, and by operating the programs, performs various processes necessary for determining the state of the monitored person OB. The determination unit 33a of the present embodiment determines the state of the monitoring target person OB based on the three-dimensional position of the head of the monitoring target person OB (driver seated in the driver's seat 106) detected by the detection unit 31.

ここでは、判定部３３ａは、一例として、図３に例示するように、車両１００の室内１０１に３次元で仮想される状態判定領域Ｔに対する監視対象者ＯＢの位置に基づいて監視対象者ＯＢの状態を判定する。状態判定領域Ｔは、監視対象者ＯＢの状態を判定するために当該監視対象者ＯＢの着座位置等に応じて車両１００の室内１０１に設定される仮想の空間領域である。本実施形態の状態判定領域Ｔは、正常領域Ｔ１、注意喚起領域Ｔ２、及び、警告領域Ｔ３の合計３つの領域が設定される。判定部３３ａは、正常領域Ｔ１、注意喚起領域Ｔ２、及び、警告領域Ｔ３の合計３つの領域に対する監視対象者ＯＢの頭部の位置に基づいて監視対象者ＯＢの状態を判定する。状態判定領域Ｔ、すなわち、正常領域Ｔ１、注意喚起領域Ｔ２、及び、警告領域Ｔ３は、例えば、実車評価等に応じて予め設定される領域である。正常領域Ｔ１、注意喚起領域Ｔ２、及び、警告領域Ｔ３は、例えば、監視対象者ＯＢである運転者が運転席１０６に着座し正常に車両１００を運転している状態における頭部の位置の分布を統計的に把握しこれを基準として予め設定される。正常領域Ｔ１は、典型的には、監視対象者ＯＢが正常な状態である場合に頭部が位置する領域に応じて予め定められる。ここでは、正常領域Ｔ１は、例えば、運転席１０６を基準に略立方体形状に設定された第１境界線Ｌ１の内側の領域として予め設定される。当該第１境界線Ｌ１は、監視対象者ＯＢである運転者が運転席１０６に着座し正常に車両１００を運転している状態で当該運転者の頭部が位置する割合が相対的に高い領域を区画する境界線として設定される。注意喚起領域Ｔ２は、典型的には、監視対象者ＯＢが当該監視対象者ＯＢに対して注意を喚起した方がよいと想定される状態である場合に頭部が位置する領域に応じて予め定められる。ここでは、注意喚起領域Ｔ２は、例えば、上記第１境界線Ｌ１の外側でかつ運転席１０６を基準に略立方体形状に設定された第２境界線Ｌ２の内側の領域として予め設定される。第２境界線Ｌ２は、第１境界線Ｌ１の外側を覆うような略立方体形状の境界線として設定される。当該第２境界線Ｌ２は、監視対象者ＯＢである運転者が明らかに異常をきたしていると想定される状態で当該運転者の頭部が位置する割合が相対的に高い領域を区画する境界線として設定される。警告領域Ｔ３は、典型的には、監視対象者ＯＢが明らかに異常をきたしている（例えば、意識不明状態や気絶した状態等）と想定され当該監視対象者ＯＢに対して警告すべきである状態である場合に頭部が位置する領域に応じて予め定められる。ここでは、警告領域Ｔ３は、例えば、上記第２境界線Ｌ２の外側の領域として予め設定される。 Here, as an example, the determination unit 33a of the monitoring target person OB is based on the position of the monitoring target person OB with respect to the state determination area T that is three-dimensionally virtualized in the interior 101 of the vehicle 100 as illustrated in FIG. Determine the state. The state determination area T is a virtual space area set in the interior 101 of the vehicle 100 according to the seating position of the monitored person OB in order to determine the state of the monitored person OB. As the state determination area T of the present embodiment, a total of three areas, a normal area T1, a warning area T2, and a warning area T3, are set. The determination unit 33a determines the state of the monitored person OB based on the position of the head of the monitored person OB with respect to a total of three areas of the normal area T1, the alert area T2, and the warning area T3. The state determination area T, that is, the normal area T1, the attention alert area T2, and the warning area T3 are areas that are preset according to, for example, actual vehicle evaluation. In the normal area T1, the alert area T2, and the warning area T3, for example, the distribution of the positions of the heads in a state where the driver who is the monitored person OB is seated in the driver's seat 106 and normally drives the vehicle 100. Is statistically grasped and set in advance based on this. The normal region T1 is typically predetermined according to the region in which the head is located when the monitored person OB is in a normal state. Here, the normal region T1 is preset as, for example, an region inside the first boundary line L1 set in a substantially cubic shape with reference to the driver's seat 106. The first boundary line L1 is a region in which the ratio of the driver's head located in a state where the driver who is the monitored person OB is seated in the driver's seat 106 and normally drives the vehicle 100 is relatively high. Is set as a border to partition. The attention-calling area T2 is typically set in advance according to the area in which the head is located when the monitored person OB is in a state where it is assumed that the monitored person OB should call attention to the monitored person OB. It is decided. Here, the attention area T2 is preset as, for example, an area outside the first boundary line L1 and inside the second boundary line L2 set in a substantially cubic shape with reference to the driver's seat 106. The second boundary line L2 is set as a substantially cubic-shaped boundary line that covers the outside of the first boundary line L1. The second boundary line L2 is a boundary that divides a region in which the ratio of the driver's head is relatively high in a state where the driver who is the monitored person OB is clearly assumed to have an abnormality. Set as a line. The warning area T3 should typically warn the monitored person OB on the assumption that the monitored person OB is clearly abnormal (for example, unconscious state, fainted state, etc.). It is predetermined according to the area where the head is located in the state. Here, the warning region T3 is preset as, for example, a region outside the second boundary line L2.

判定部３３ａは、上記のように設定された状態判定領域Ｔに対する監視対象者ＯＢの頭部の位置に基づいて、監視対象者ＯＢの状態を、正常状態、注意喚起状態、及び、警告状態の３つの状態に区別して判定する。つまり、判定部３３ａは、正常領域Ｔ１、注意喚起領域Ｔ２、及び、警告領域Ｔ３の３つの領域に対する監視対象者ＯＢの頭部の位置に基づいて正常状態、注意喚起状態、及び、警告状態の３つの状態を区別して判定する。例えば、判定部３３ａは、検知部３１による監視対象者ＯＢの検知結果に基づいて、監視対象者ＯＢの頭部の位置が正常領域Ｔ１に一定時間以上あると判定した場合には、監視対象者ＯＢの状態が正常状態であるものと判定する。判定部３３ａは、検知部３１による監視対象者ＯＢの検知結果に基づいて、監視対象者ＯＢの頭部の位置が注意喚起領域Ｔ２に一定時間以上あると判定した場合には、監視対象者ＯＢの状態が注意喚起状態であるものと判定する。判定部３３ａは、検知部３１による監視対象者ＯＢの検知結果に基づいて、監視対象者ＯＢの頭部の位置が警告領域Ｔ３に一定時間以上あると判定した場合には、監視対象者ＯＢの状態が警告状態であるものと判定する。また、判定部３３ａは、監視対象者ＯＢの状態が注意喚起状態であるものと判定した後、この注意喚起状態が予め設定された期間継続した場合にも監視対象者ＯＢの状態が警告状態であるものと判定してもよい。 Based on the position of the head of the monitored person OB with respect to the state judgment area T set as described above, the determination unit 33a sets the state of the monitored person OB to the normal state, the alert state, and the warning state. Judgment is made by distinguishing between three states. That is, the determination unit 33a is in the normal state, the alert state, and the warning state based on the positions of the heads of the monitored person OB with respect to the three areas of the normal area T1, the attention area T2, and the warning area T3. Judgment is made by distinguishing the three states. For example, when the determination unit 33a determines that the position of the head of the monitoring target person OB is in the normal region T1 for a certain period of time or longer based on the detection result of the monitoring target person OB by the detection unit 31, the monitoring target person It is determined that the OB state is a normal state. When the determination unit 33a determines that the position of the head of the monitoring target person OB is in the attention alert area T2 for a certain period of time or longer based on the detection result of the monitoring target person OB by the detection unit 31, the monitoring target person OB It is determined that the state of is a warning state. When the determination unit 33a determines that the position of the head of the monitoring target person OB is in the warning area T3 for a certain period of time or longer based on the detection result of the monitoring target person OB by the detection unit 31, the monitoring unit OB It is determined that the state is a warning state. Further, after the determination unit 33a determines that the state of the monitored person OB is the alert state, the state of the monitored person OB is in the warning state even when the alert state continues for a preset period. It may be determined that there is.

また、判定部３３ａは、上記のような状態判定領域Ｔに対する監視対象者ＯＢの頭部の位置に基づいた監視対象者ＯＢの状態判定に加え、さらに、監視対象者ＯＢの頭部の動きに基づいた監視対象者ＯＢの状態判定を行うようにしてもよい。この場合、判定部３３ａは、検知部３１による監視対象者ＯＢの検知結果に基づいて、監視対象者ＯＢの頭部がほとんど動いていない場合、あるいは、異常な動き方（極端に速く動いた後に動かなくなる等）をした場合にも監視対象者ＯＢの状態が警告状態であるものと判定してもよい。 Further, the determination unit 33a determines the state of the monitored person OB based on the position of the head of the monitored person OB with respect to the state determination area T as described above, and further determines the movement of the head of the monitored person OB. The state of the monitored person OB may be determined based on the above. In this case, based on the detection result of the monitored person OB by the detection unit 31, the determination unit 33a may not move the head of the monitored person OB, or may move abnormally (after moving extremely fast). It may be determined that the state of the monitored person OB is a warning state even when the monitoring target person OB does not move.

動作制御部３３ｂは、判定部３３ａによる監視対象者ＯＢの状態の判定結果に基づいて出力部３２を含む各部の動作を制御する部分である。動作制御部３３ｂは、ＲＯＭ、ＲＡＭ等の記憶部に記憶されている各種プログラムを実行し、当該プログラムが動作することにより出力部３２の機能を実現するために必要な様々な処理を行う。本実施形態の動作制御部３３ｂは、判定部３３ａによる状態判定領域Ｔに基づいた監視対象者ＯＢの状態の判定結果に基づいて、出力部３２を制御し、警告を含む種々の情報を出力させる。つまり、動作制御部３３ｂは、車両１００の室内１０１に３次元で仮想される状態判定領域Ｔに対する監視対象者ＯＢの頭部の位置に基づいて出力部３２を制御し警告を含む種々の情報を出力させることとなる。 The operation control unit 33b is a unit that controls the operation of each unit including the output unit 32 based on the determination result of the state of the monitored person OB by the determination unit 33a. The operation control unit 33b executes various programs stored in storage units such as ROM and RAM, and performs various processes necessary for realizing the functions of the output unit 32 by operating the programs. The operation control unit 33b of the present embodiment controls the output unit 32 based on the determination result of the state of the monitored person OB based on the state determination area T by the determination unit 33a, and outputs various information including a warning. .. That is, the motion control unit 33b controls the output unit 32 based on the position of the head of the monitored person OB with respect to the state determination area T virtualized three-dimensionally in the interior 101 of the vehicle 100, and outputs various information including a warning. It will be output.

本実施形態の動作制御部３３ｂは、判定部３３ａによって判定された監視対象者ＯＢの状態に応じて、出力部３２を制御し、監視対象者ＯＢに対して注意喚起、及び、警告を段階的に切り替えて行わせる。例えば、動作制御部３３ｂは、判定部３３ａによって監視対象者ＯＢの状態が正常状態であるものと判定された場合、特には出力部３２から監視に関する情報の出力を行わない。動作制御部３３ｂは、判定部３３ａによって監視対象者ＯＢの状態が注意喚起状態であるものと判定された場合、出力部３２を制御し、警告の前段階として、監視対象者ＯＢに対して注意喚起を促す情報を出力する。動作制御部３３ｂは、判定部３３ａによって監視対象者ＯＢの状態が警告状態であるものと判定された場合、出力部３２を制御し、監視対象者ＯＢに対して警告を表す情報を出力する。なお、動作制御部３３ｂは、後述するように、出力部３２に警告を出力させた後、予め定められた支援開始条件が成立したら、外部接続部５、車両ＥＣＵ１０７を介してアクチュエータ１０８によって種々の支援を行わせるようにしている。つまり、本実施形態の監視システム１は、判定部３３ａによって判定された監視対象者ＯＢの状態に応じて、監視対象者ＯＢに対して注意喚起、警告、支援を段階的に切り替えて行うものである。 The operation control unit 33b of the present embodiment controls the output unit 32 according to the state of the monitoring target person OB determined by the determination unit 33a, and alerts the monitoring target person OB in stages. Let's switch to. For example, when the determination unit 33a determines that the state of the monitored person OB is a normal state, the operation control unit 33b does not particularly output information related to monitoring from the output unit 32. When the determination unit 33a determines that the state of the monitored person OB is a warning state, the operation control unit 33b controls the output unit 32 and warns the monitored person OB as a pre-warning step. Output information that prompts arousal. When the determination unit 33a determines that the status of the monitored person OB is a warning state, the operation control unit 33b controls the output unit 32 and outputs information indicating a warning to the monitored person OB. As will be described later, the motion control unit 33b outputs a warning to the output unit 32, and when a predetermined support start condition is satisfied, the operation control unit 33b uses the actuator 108 via the external connection unit 5 and the vehicle ECU 107. I am trying to get support. That is, the monitoring system 1 of the present embodiment sequentially switches alerting, warning, and support to the monitored person OB according to the state of the monitored person OB determined by the determination unit 33a. is there.

解除操作部４は、天井１０２に設けられた筐体２の外面に露出して設けられ警告解除操作を入力可能なものである。解除操作部４は、筐体２の外面において、監視対象者ＯＢの手が届く位置に露出するように設けられる。より好適には、解除操作部４は、監視対象者ＯＢである運転者が運転席１０６に着座し正常に車両１００を運転している正常状態で監視対象者ＯＢの手が届く位置でかつステアリング１０５を握った状態での通常の運転動作では触れられない位置に露出して設けられる。さらに言えば、解除操作部４は、監視対象者ＯＢである運転者が認知し易く、かつ、通常の運転動作を妨げずに操作できる位置であって、同乗者や異常な状態の運転者が容易に操作できない位置に露出して設けられることが好ましい。つまり、解除操作部４は、監視対象者ＯＢである運転者が正常状態で手が届く位置でかつ運転者が意識的に手を伸ばさなければ手が届かない位置に露出して設けられることが好ましい。解除操作部４は、例えば、筐体２の運転席１０６側の側面に露出して設けられる。また、解除操作部４は、例えば、筐体２の運転席１０６側の底面に露出して設けられていてもよいし、複数設けられていてもよい。解除操作部４は、例えば、押しボタン、静電容量式タッチスイッチや赤外線センサ等の非接触式センサ等によって構成される。解除操作部４は、警告解除操作が入力されることで、出力部３２による警告を解除させる。解除操作部４は、例えば、出力部３２によって警告が出力されている状態で、監視対象者ＯＢ等の手や指によって触れられて警告解除操作が入力されると、演算部３３の動作制御部３３ｂに解除操作入力信号を出力する。動作制御部３３ｂは、解除操作部４から解除操作入力信号が入力されると、出力部３２を制御し警告を解除する。この構成により、監視装置３は、警告を出力している状態で、解除操作部４に警告解除操作が入力された場合に、警告を解除することができる。 The release operation unit 4 is provided so as to be exposed on the outer surface of the housing 2 provided on the ceiling 102, and can input a warning release operation. The release operation unit 4 is provided on the outer surface of the housing 2 so as to be exposed at a position within reach of the monitored person OB. More preferably, the release operation unit 4 is steered at a position within the reach of the monitored person OB in a normal state in which the driver who is the monitored person OB is seated in the driver's seat 106 and is driving the vehicle 100 normally. It is provided so as to be exposed at a position that cannot be touched by normal driving operation while holding the 105. Furthermore, the release operation unit 4 is a position that can be easily recognized by the driver who is the monitored person OB and can be operated without interfering with the normal driving operation, and can be operated by a passenger or a driver in an abnormal state. It is preferable that the surface is exposed at a position where it cannot be easily operated. That is, the release operation unit 4 may be exposed and provided at a position where the driver who is the monitored person OB can reach in a normal state and where the driver cannot reach unless he / she consciously reaches out. preferable. The release operation unit 4 is provided, for example, by being exposed on the side surface of the housing 2 on the driver's seat 106 side. Further, for example, the release operation unit 4 may be provided so as to be exposed on the bottom surface of the housing 2 on the driver's seat 106 side, or may be provided in plurality. The release operation unit 4 is composed of, for example, a push button, a non-contact sensor such as a capacitance type touch switch or an infrared sensor. The release operation unit 4 releases the warning from the output unit 32 when the warning release operation is input. For example, when a warning is output by the output unit 32 and the release operation unit 4 is touched by a hand or finger of the monitored person OB or the like and a warning release operation is input, the operation control unit of the calculation unit 33 The release operation input signal is output to 33b. When the release operation input signal is input from the release operation unit 4, the operation control unit 33b controls the output unit 32 to release the warning. With this configuration, the monitoring device 3 can release the warning when the warning release operation is input to the release operation unit 4 while the warning is being output.

外部接続部５は、車両１００に搭載された車両ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１０７が電気的に接続される部分である。外部接続部５は、種々の形式のコネクタやインターフェース部によって構成される。外部接続部５は、電源供給用の電源線、信号通信用の通信線等の配索材を介して監視システム１の演算部３３の動作制御部３３ｂと車両ＥＣＵ１０７とを相互に通信可能に電気的に接続し、各種の電気信号を相互に授受可能とする。ここで、車両ＥＣＵ１０７は、車両１００の各部を統括的に制御するものである。車両ＥＣＵ１０７は、車両１００に搭載されるアクチュエータ１０８と電気的に接続され、当該アクチュエータ１０８の動作の制御を行う。アクチュエータ１０８は、当該車両ＥＣＵ１０７の制御によって動作する種々のデバイスである。アクチュエータ１０８は、例えば、走行系アクチュエータ、マルチメディア（Ｍｕｌｔｉ Ｍｅｄｉａ）系機器等を含んでいてもよい。走行系アクチュエータとしては、例えば、車両１００を走行させる駆動装置である走行用パワートレーン、車両１００の操舵を行う操舵装置、車両１００の制動を行う制動装置等を含んでいてもよい。マルチメディア系機器としては、例えば、ナビゲーション装置、オーディオ装置、メータ、車内照明機器、各種ディスプレイ等の機器を含んでいてもよい。動作制御部３３ｂは、出力部３２に警告を出力させた後、予め定められた支援開始条件が成立したら、外部接続部５を介して車両ＥＣＵ１０７に支援要求信号を出力する。車両ＥＣＵ１０７は、動作制御部３３ｂから支援要求信号が入力されると、アクチュエータ１０８の動作を制御し、車両１００の自動減速や自動停止、緊急連絡先への通報等の各種支援を行わせる支援制御を実行する。 The external connection portion 5 is a portion to which the vehicle ECU (Electronic Control Unit) 107 mounted on the vehicle 100 is electrically connected. The external connection unit 5 is composed of various types of connectors and interface units. The external connection unit 5 enables mutual communication between the operation control unit 33b of the calculation unit 33 of the monitoring system 1 and the vehicle ECU 107 via a wiring material such as a power supply line for power supply and a communication line for signal communication. It is possible to exchange various electric signals with each other. Here, the vehicle ECU 107 comprehensively controls each part of the vehicle 100. The vehicle ECU 107 is electrically connected to the actuator 108 mounted on the vehicle 100 and controls the operation of the actuator 108. The actuator 108 is various devices that operate under the control of the vehicle ECU 107. The actuator 108 may include, for example, a traveling actuator, a multimedia device, or the like. The traveling system actuator may include, for example, a traveling power train which is a driving device for traveling the vehicle 100, a steering device for steering the vehicle 100, a braking device for braking the vehicle 100, and the like. The multimedia equipment may include, for example, equipment such as a navigation device, an audio device, a meter, an in-vehicle lighting device, and various displays. The operation control unit 33b outputs a warning to the output unit 32, and then outputs a support request signal to the vehicle ECU 107 via the external connection unit 5 when a predetermined support start condition is satisfied. When the support request signal is input from the operation control unit 33b, the vehicle ECU 107 controls the operation of the actuator 108 to provide various support such as automatic deceleration and automatic stop of the vehicle 100 and notification to an emergency contact. To execute.

次に、図４のフロー図を参照して監視システム１によって実行される監視制御の一例を説明する。監視制御は、演算部３３によって種々の演算処理が実行されることで実現される。監視制御は、典型的には、車両１００の走行中に実行され、車両１００の停車中には一時的に停止されると共に車両１００の走行開始後に再開されるものとして説明するがこれに限らない。監視制御における各制御ルーチンは、例えば、数ｍｓないし数十ｍｓ毎の制御周期（クロック単位）で繰り返し実行される。 Next, an example of monitoring control executed by the monitoring system 1 will be described with reference to the flow chart of FIG. The monitoring control is realized by executing various arithmetic processes by the arithmetic unit 33. The monitoring control is typically described as being executed while the vehicle 100 is running, temporarily stopped while the vehicle 100 is stopped, and restarted after the vehicle 100 starts running, but the present invention is not limited to this. .. Each control routine in monitoring control is repeatedly executed, for example, in a control cycle (clock unit) every several ms to several tens of ms.

まず、判定部３３ａは、検知部３１による監視対象者ＯＢの検知結果に基づいて、監視対象者ＯＢの状態が注意喚起状態であるか否かを判定する（ステップＳＴ１）。判定部３３ａは、監視対象者ＯＢの頭部の位置が注意喚起領域Ｔ２に一定時間以上あるか否かを判定することで監視対象者ＯＢの状態が注意喚起状態であるか否かを判定する。判定部３３ａは、監視対象者ＯＢの頭部の位置が注意喚起領域Ｔ２に一定時間以上あると判定した場合、監視対象者ＯＢの状態が注意喚起状態であるものと判定する。判定部３３ａは、監視対象者ＯＢの状態が注意喚起状態であるものと判定した場合（ステップＳＴ１：Ｙｅｓ）、ステップＳＴ２の処理に移行する。判定部３３ａは、監視対象者ＯＢの頭部の位置が注意喚起領域Ｔ２に一定時間以上ないと判定した場合、監視対象者ＯＢの状態が注意喚起状態でないものと判定する。判定部３３ａは、監視対象者ＯＢの状態が注意喚起状態でないものと判定した場合（ステップＳＴ１：Ｎｏ）、ステップＳＴ５の処理に移行する。 First, the determination unit 33a determines whether or not the state of the monitoring target person OB is a warning state based on the detection result of the monitoring target person OB by the detection unit 31 (step ST1). The determination unit 33a determines whether or not the state of the monitored person OB is the state of alerting by determining whether or not the position of the head of the monitored person OB is in the attention area T2 for a certain period of time or longer. .. When the determination unit 33a determines that the position of the head of the monitoring target person OB is in the attention alert area T2 for a certain period of time or more, the determination unit 33a determines that the state of the monitoring target person OB is the attention alert state. When the determination unit 33a determines that the state of the monitored person OB is the alert state (step ST1: Yes), the determination unit 33a shifts to the process of step ST2. When the determination unit 33a determines that the position of the head of the monitoring target person OB is not in the attention alert area T2 for a certain period of time or more, the determination unit 33a determines that the state of the monitoring target person OB is not the attention alert state. When the determination unit 33a determines that the state of the monitored person OB is not the alert state (step ST1: No), the determination unit 33a shifts to the process of step ST5.

判定部３３ａは、ステップＳＴ１の判定で、監視対象者ＯＢの状態が注意喚起状態であるものと判定した場合（ステップＳＴ１：Ｙｅｓ）、注意喚起状態への遷移後、予め設定された警告状態判定期間が経過したか否かを判定する（ステップＳＴ２）。言い換えれば、判定部３３ａは、注意喚起状態が予め設定された警告状態判定期間継続したか否かを判定する。 When the determination unit 33a determines in the determination of step ST1 that the state of the monitored person OB is the alert state (step ST1: Yes), after the transition to the alert state, the preset warning state determination It is determined whether or not the period has elapsed (step ST2). In other words, the determination unit 33a determines whether or not the alert state has continued for a preset warning state determination period.

判定部３３ａは、ステップＳＴ２の判定で、注意喚起状態への遷移後、警告状態判定期間が経過していないと判定した場合（ステップＳＴ２：Ｎｏ）、注意喚起状態への遷移後、初回の制御周期か否かを判定する（ステップＳＴ３）。判定部３３ａは、注意喚起状態への遷移後、初回の制御周期でないと判定した場合（ステップＳＴ３：Ｎｏ）、現在の制御周期を終了し、次の制御周期に移行する。 When the determination unit 33a determines in the determination of step ST2 that the warning state determination period has not elapsed after the transition to the alert state (step ST2: No), the first control after the transition to the alert state. It is determined whether or not it is a cycle (step ST3). When the determination unit 33a determines that it is not the first control cycle after the transition to the alert state (step ST3: No), the determination unit 33a ends the current control cycle and shifts to the next control cycle.

動作制御部３３ｂは、ステップＳＴ３の判定で、判定部３３ａによって注意喚起状態への遷移後、初回の制御周期であるものと判定された場合（ステップＳＴ３：Ｙｅｓ）、出力部３２を制御し、監視対象者ＯＢに対して注意喚起を促す情報を出力させる（ステップＳＴ４）。その後、演算部３３は、現在の制御周期を終了し、次の制御周期に移行する。この場合、動作制御部３３ｂは、例えば、出力部３２を制御し、音声等によって「状況確認に集中しましょう」などの聴覚情報を出力させることで、監視対象者ＯＢに対して注意喚起を促す情報を出力させる。また、動作制御部３３ｂは、出力部３２を制御し、視覚情報や触覚情報等を出力することで監視対象者ＯＢに対して注意喚起を促す情報を出力させてもよい。またこのとき、判定部３３ａは、注意喚起状態へ遷移してからの経過時間のカウントを開始する。判定部３３ａは、以降の制御周期で、監視対象者ＯＢの頭部の位置が正常領域Ｔ１に戻り一定時間以上正常領域Ｔ１にとどまり続け、監視対象者ＯＢの状態が正常状態であると判定すると経過時間のカウントをリセットする。一方、判定部３３ａは、以降の制御周期で、監視対象者ＯＢの頭部の位置が注意喚起領域Ｔ２にとどまり続けた場合には経過時間のカウントをリセットせず当該経過時間のカウントを継続していく。 The operation control unit 33b controls the output unit 32 when the determination unit 33a determines in step ST3 that it is the first control cycle after the transition to the attention alert state (step ST3: Yes). Information that calls attention to the monitored person OB is output (step ST4). After that, the calculation unit 33 ends the current control cycle and shifts to the next control cycle. In this case, the motion control unit 33b controls the output unit 32, for example, and outputs auditory information such as "Let's concentrate on the situation confirmation" by voice or the like to call attention to the monitored person OB. Output information. Further, the motion control unit 33b may control the output unit 32 and output visual information, tactile information, and the like to output information that calls attention to the monitored person OB. At this time, the determination unit 33a starts counting the elapsed time from the transition to the alert state. When the determination unit 33a determines that the position of the head of the monitored subject OB returns to the normal region T1 and remains in the normal region T1 for a certain period of time or longer in the subsequent control cycle, the status of the monitored subject OB is in the normal state. Reset the elapsed time count. On the other hand, if the position of the head of the monitored person OB continues to stay in the alert area T2 in the subsequent control cycle, the determination unit 33a does not reset the elapsed time count and continues counting the elapsed time. To go.

判定部３３ａは、ステップＳＴ２の判定で、注意喚起状態への遷移後、警告状態判定期間が経過したと判定した場合（ステップＳＴ２：Ｙｅｓ）、監視対象者ＯＢの状態が警告状態であるものと判定する。すなわち、判定部３３ａは、注意喚起状態が警告状態判定期間継続したと判定した場合（ステップＳＴ２：Ｙｅｓ）、監視対象者ＯＢの状態が警告状態であるものと判定する。そして、判定部３３ａは、ステップＳＴ６の処理に移行する。このとき、動作制御部３３ｂは、警告状態へ遷移してからの経過時間のカウントを開始する。 When the determination unit 33a determines in the determination of step ST2 that the warning state determination period has elapsed after the transition to the alert state (step ST2: Yes), the state of the monitored person OB is determined to be the warning state. judge. That is, when the determination unit 33a determines that the alert state has continued for the warning state determination period (step ST2: Yes), the determination unit 33a determines that the state of the monitored person OB is the warning state. Then, the determination unit 33a shifts to the process of step ST6. At this time, the operation control unit 33b starts counting the elapsed time from the transition to the warning state.

判定部３３ａは、ステップＳＴ１の判定で、監視対象者ＯＢの状態が注意喚起状態でないものと判定した場合（ステップＳＴ１：Ｎｏ）、ステップＳＴ５の処理を行う。すなわち、判定部３３ａは、検知部３１による監視対象者ＯＢの検知結果に基づいて、監視対象者ＯＢの状態が警告状態であるか否かを判定する（ステップＳＴ５）。判定部３３ａは、監視対象者ＯＢの頭部の位置が警告領域Ｔ３に一定時間以上あるか否かを判定することで監視対象者ＯＢの状態が警告状態であるか否かを判定する。判定部３３ａは、監視対象者ＯＢの頭部の位置が警告領域Ｔ３に一定時間以上あると判定した場合、監視対象者ＯＢの状態が警告状態であるものと判定する。また、判定部３３ａは、以前の制御周期において、ステップＳＴ５の判定、もしくはステップＳＴ２の判定に基づいて、監視対象者ＯＢの状態が警告状態であるものと判定した後、警告が解除されていない場合にも監視対象者ＯＢの状態が警告状態であるものと判定する。また、判定部３３ａは、検知部３１による監視対象者ＯＢの検知結果に基づいて、監視対象者ＯＢの頭部がほとんど動いていない場合、あるいは、異常な動き方をした場合にも監視対象者ＯＢの状態が警告状態であるものと判定してもよい。判定部３３ａは、監視対象者ＯＢの状態が警告状態であるものと判定した場合（ステップＳＴ５：Ｙｅｓ）、ステップＳＴ６の処理に移行する。このとき、動作制御部３３ｂは、警告状態へ遷移してからの経過時間のカウントを開始する。判定部３３ａは、監視対象者ＯＢの頭部の位置が警告領域Ｔ３に一定時間以上ないと判定し、かつ以前の制御周期において、ステップＳＴ５の判定、もしくはステップＳＴ２の判定に基づいて監視対象者ＯＢの状態が警告状態でないものと判定した場合、監視対象者ＯＢの状態が警告状態でないものと判定する。判定部３３ａは、監視対象者ＯＢの状態が警告状態でないものと判定した場合（ステップＳＴ５：Ｎｏ）、監視対象者ＯＢの状態が正常状態であるものと判定し、現在の制御周期を終了し、次の制御周期に移行する。 When the determination unit 33a determines in the determination of step ST1 that the state of the monitored person OB is not the alert state (step ST1: No), the determination unit 33a performs the process of step ST5. That is, the determination unit 33a determines whether or not the state of the monitored person OB is a warning state based on the detection result of the monitored person OB by the detection unit 31 (step ST5). The determination unit 33a determines whether or not the state of the monitored person OB is a warning state by determining whether or not the position of the head of the monitored person OB is in the warning area T3 for a certain period of time or longer. When the determination unit 33a determines that the position of the head of the monitored person OB is in the warning area T3 for a certain period of time or longer, the determination unit 33a determines that the state of the monitored person OB is the warning state. Further, in the previous control cycle, the determination unit 33a determines that the state of the monitored person OB is a warning state based on the determination in step ST5 or the determination in step ST2, and then the warning is not released. Even in this case, it is determined that the status of the monitored person OB is a warning status. Further, the determination unit 33a is based on the detection result of the monitoring target person OB by the detection unit 31, and even when the head of the monitoring target person OB hardly moves or moves abnormally, the monitoring target person It may be determined that the OB state is a warning state. When the determination unit 33a determines that the state of the monitored person OB is a warning state (step ST5: Yes), the determination unit 33a shifts to the process of step ST6. At this time, the operation control unit 33b starts counting the elapsed time from the transition to the warning state. The determination unit 33a determines that the position of the head of the monitoring target person OB is not in the warning area T3 for a certain period of time or more, and in the previous control cycle, the monitoring target person is based on the judgment of step ST5 or the judgment of step ST2. When it is determined that the state of the OB is not the warning state, it is determined that the state of the monitored person OB is not the warning state. When the determination unit 33a determines that the state of the monitored person OB is not a warning state (step ST5: No), it determines that the state of the monitored person OB is a normal state, and ends the current control cycle. , Moves to the next control cycle.

動作制御部３３ｂは、ステップＳＴ６の処理では、警告状態への遷移後、解除操作部４に対して警告解除操作の入力があったか否かを判定する（ステップＳＴ６）。動作制御部３３ｂは、解除操作部４から解除操作入力信号が入力されたか否かに基づいて解除操作部４に対して警告解除操作の入力があったか否かを判定する。動作制御部３３ｂは、解除操作部４から解除操作入力信号が入力されたと判定した場合、解除操作部４に対して警告解除操作の入力があったと判定する。動作制御部３３ｂは、解除操作部４に対して警告解除操作の入力があったと判定した場合（ステップＳＴ６：Ｙｅｓ）、ステップＳＴ７の処理に移行する。動作制御部３３ｂは、解除操作部４から解除操作入力信号が入力されていないと判定した場合、解除操作部４に対して警告解除操作の入力がないと判定する。動作制御部３３ｂは、解除操作部４に対して警告解除操作の入力がないと判定した場合（ステップＳＴ６：Ｎｏ）、ステップＳＴ８の処理に移行する。 In the process of step ST6, the operation control unit 33b determines whether or not a warning release operation has been input to the release operation unit 4 after the transition to the warning state (step ST6). The operation control unit 33b determines whether or not a warning release operation has been input to the release operation unit 4 based on whether or not a release operation input signal has been input from the release operation unit 4. When the operation control unit 33b determines that the release operation input signal has been input from the release operation unit 4, it determines that the warning release operation has been input to the release operation unit 4. When the operation control unit 33b determines that the warning release operation has been input to the release operation unit 4 (step ST6: Yes), the operation control unit 33b shifts to the process of step ST7. When the operation control unit 33b determines that the release operation input signal has not been input from the release operation unit 4, it determines that the warning release operation has not been input to the release operation unit 4. When the operation control unit 33b determines that the release operation unit 4 has not input the warning release operation (step ST6: No), the operation control unit 33b proceeds to the process of step ST8.

動作制御部３３ｂは、解除操作部４に対して警告解除操作の入力があったと判定した場合（ステップＳＴ６：Ｙｅｓ）、出力部３２を制御し、以前の制御周期において後述するステップＳＴ９の処理で行われた警告及び警告状態を解除し、正常状態へと復帰する（ステップＳＴ７）。またこのとき、動作制御部３３ｂは、外部接続部５を介して車両ＥＣＵ１０７に支援解除信号を出力し、以前の制御周期において後述するステップＳＴ１１の処理で行われた支援も解除するようにしてもよい。そして、演算部３３は、現在の制御周期を終了し、次の制御周期に移行する。 When the operation control unit 33b determines that the warning release operation has been input to the release operation unit 4 (step ST6: Yes), the operation control unit 33b controls the output unit 32, and in the process of step ST9 described later in the previous control cycle. The warning and the warning state that have been issued are canceled, and the state returns to the normal state (step ST7). Further, at this time, the motion control unit 33b may output a support release signal to the vehicle ECU 107 via the external connection unit 5 to release the support performed in the process of step ST11 described later in the previous control cycle. Good. Then, the calculation unit 33 ends the current control cycle and shifts to the next control cycle.

動作制御部３３ｂは、ステップＳＴ６の判定で、解除操作部４に対して警告解除操作の入力がないと判定した場合（ステップＳＴ６：Ｎｏ）、現在警告中であるか否かを判定する（ステップＳＴ８）。動作制御部３３ｂは、現在警告中であるものと判定した場合（ステップＳＴ８：Ｙｅｓ）、ステップＳＴ１０の処理に移行する。 When the operation control unit 33b determines in the determination of step ST6 that there is no input of the warning release operation to the release operation unit 4 (step ST6: No), the operation control unit 33b determines whether or not the warning is currently being performed (step). ST8). When the operation control unit 33b determines that the warning is currently in progress (step ST8: Yes), the operation control unit 33b shifts to the process of step ST10.

動作制御部３３ｂは、ステップＳＴ８の判定で、現在警告中でないものと判定した場合（ステップＳＴ８：Ｎｏ）、出力部３２を制御し、監視対象者ＯＢに対して警告を表す情報を出力させ（ステップＳＴ９）、ステップＳＴ１０の処理に移行する。この場合、動作制御部３３ｂは、例えば、出力部３２を制御し、音声等によって「ドライバの異常を検出しました。異常でない場合は解除スイッチにタッチしてください。」などの聴覚情報を出力させることで、監視対象者ＯＢに対して警告を表す情報を出力させる。また、動作制御部３３ｂは、出力部３２を制御し、視覚情報や触覚情報等を出力することで監視対象者ＯＢに対して警告を表す情報を出力させてもよい。 When the operation control unit 33b determines in step ST8 that the warning is not currently being issued (step ST8: No), the operation control unit 33b controls the output unit 32 and causes the monitored person OB to output information indicating a warning (step ST8: No). Step ST9), the process proceeds to step ST10. In this case, the operation control unit 33b controls the output unit 32, for example, and outputs auditory information such as "A driver abnormality has been detected. If it is not an abnormality, touch the release switch." As a result, information indicating a warning is output to the monitored person OB. Further, the motion control unit 33b may control the output unit 32 and output visual information, tactile information, and the like to output information indicating a warning to the monitored person OB.

動作制御部３３ｂは、ステップＳＴ１０の処理では、警告状態への遷移後、予め設定された支援開始判定期間が経過したか否か、すなわち、警告が予め設定された支援開始判定期間継続したか否かを判定する（ステップＳＴ１０）。動作制御部３３ｂは、警告状態への遷移後、支援開始判定期間が経過していないと判定した場合（ステップＳＴ１０：Ｎｏ）、現在の制御周期を終了し、次の制御周期に移行する。すなわち、動作制御部３３ｂは、警告が支援開始判定期間継続していないと判定した場合（ステップＳＴ１０：Ｎｏ）、現在の制御周期を終了し、次の制御周期に移行する。動作制御部３３ｂは、以降の制御周期で、警告が解除されると経過時間のカウントをリセットする。一方、動作制御部３３ｂは、以降の制御周期で、監視対象者ＯＢの状態が警告状態で継続された場合には経過時間のカウントをリセットせず当該経過時間のカウントを継続していく。 In the process of step ST10, the operation control unit 33b determines whether or not the preset support start determination period has elapsed after the transition to the warning state, that is, whether or not the warning continues for the preset support start determination period. (Step ST10). When the operation control unit 33b determines that the support start determination period has not elapsed after the transition to the warning state (step ST10: No), the operation control unit 33b ends the current control cycle and shifts to the next control cycle. That is, when the motion control unit 33b determines that the warning has not continued for the support start determination period (step ST10: No), the operation control unit 33b ends the current control cycle and shifts to the next control cycle. The operation control unit 33b resets the elapsed time count when the warning is released in the subsequent control cycle. On the other hand, in the subsequent control cycle, when the state of the monitored person OB is continued in the warning state, the operation control unit 33b does not reset the elapsed time count but continues counting the elapsed time.

動作制御部３３ｂは、ステップＳＴ１０の判定で、警告状態への遷移後、支援開始判定期間が経過したと判定した場合（ステップＳＴ１０：Ｙｅｓ）、ステップＳＴ１１の処理に移行する。すなわち、動作制御部３３ｂは、警告が支援開始判定期間継続したと判定した場合（ステップＳＴ１０：Ｙｅｓ）、ステップＳＴ１１の処理に移行する。この場合、動作制御部３３ｂは、外部接続部５を介して車両ＥＣＵ１０７に支援要求信号を出力し、車両ＥＣＵ１０７によってアクチュエータ１０８の動作を制御させ、各種支援を行わせる支援制御を実行させる（ステップＳＴ１１）。そして、演算部３３は、現在の制御周期を終了し、次の制御周期に移行する。 When the operation control unit 33b determines in the determination of step ST10 that the support start determination period has elapsed after the transition to the warning state (step ST10: Yes), the operation control unit 33b shifts to the process of step ST11. That is, when the motion control unit 33b determines that the warning has continued for the support start determination period (step ST10: Yes), the operation shifts to the process of step ST11. In this case, the motion control unit 33b outputs a support request signal to the vehicle ECU 107 via the external connection unit 5, causes the vehicle ECU 107 to control the operation of the actuator 108, and executes support control for performing various types of support (step ST11). ). Then, the calculation unit 33 ends the current control cycle and shifts to the next control cycle.

以上で説明した監視システム１は、監視対象者ＯＢが異常な状態ではないにもかかわらず監視装置３によって警告が出力された場合であっても監視対象者ＯＢによって解除操作部４に警告解除操作が入力されることで当該警告を解除することができる。この構成により、監視システム１は、監視対象者ＯＢの状態をより正確に把握することができる。そして、監視システム１は、当該解除操作部４が天井１０２の室内１０１側の面に設けられた筐体２の外面に露出して設けられており、監視対象者ＯＢが正常状態で手が届く位置でかつ意識的に手を伸ばさなければ手が届かない位置に設けられている。この構成により、監視システム１は、解除操作部４が誤って操作されることを抑制することができ、監視対象者ＯＢの意識を明確に確認した上で該警告を解除することができる。つまり、監視システム１は、解除操作部４が監視対象者ＯＢである運転者の運転動作を妨げずに操作できる位置であって、同乗者や異常な状態の運転者が容易に操作できない位置に露出して設けられることで当該解除操作部４が意図せずに操作され警告が意図せずに解除されることを抑制することができる。この結果、監視システム１は、警告が誤って解除されることを抑制し監視対象者ＯＢの状態をより正確に把握することができる。また、監視システム１は、解除操作部４が天井１０２に設けられた筐体２の外面に露出して設けられていることから、通常の運転状態での視点位置から解除操作部４までの視点移動量を抑制することができるので解除操作部４を認知させ易くすることができる。この点でも、監視システム１は、監視対象者ＯＢの状態をより正確に把握することができる。したがって、監視システム１は、車両１００の室内１０１の監視対象者ＯＢを適正に監視することができる。なお、この監視システム１は、解除操作部４が天井１０２に設けられた筐体２の外面に露出して設けられていることから、例えば、救助者等に対して解除操作部４を視認させ易くすることもできる。 In the monitoring system 1 described above, even if a warning is output by the monitoring device 3 even though the monitoring target person OB is not in an abnormal state, the monitoring target person OB performs a warning release operation to the release operation unit 4. The warning can be canceled by inputting. With this configuration, the monitoring system 1 can more accurately grasp the state of the monitored person OB. The monitoring system 1 is provided so that the release operation unit 4 is exposed on the outer surface of the housing 2 provided on the surface of the ceiling 102 on the indoor 101 side, and the monitored person OB can reach it in a normal state. It is installed in a position that cannot be reached without consciously reaching out. With this configuration, the monitoring system 1 can prevent the release operation unit 4 from being erroneously operated, and can release the warning after clearly confirming the consciousness of the monitored person OB. That is, the monitoring system 1 is in a position where the release operation unit 4 can be operated without interfering with the driving operation of the driver who is the monitored person OB, and is in a position where the passenger or the driver in an abnormal state cannot easily operate. By being exposed, it is possible to prevent the release operation unit 4 from being unintentionally operated and the warning being unintentionally released. As a result, the monitoring system 1 can suppress the erroneous cancellation of the warning and can more accurately grasp the state of the monitored person OB. Further, since the monitoring system 1 is provided with the release operation unit 4 exposed on the outer surface of the housing 2 provided on the ceiling 102, the viewpoint from the viewpoint position in the normal operating state to the release operation unit 4 Since the amount of movement can be suppressed, the release operation unit 4 can be easily recognized. In this respect as well, the monitoring system 1 can more accurately grasp the state of the monitored person OB. Therefore, the monitoring system 1 can properly monitor the monitored person OB in the interior 101 of the vehicle 100. Since the release operation unit 4 is exposed on the outer surface of the housing 2 provided on the ceiling 102 in the monitoring system 1, for example, a rescuer or the like can visually recognize the release operation unit 4. It can also be made easier.

さらに、以上で説明した監視システム１は、監視装置３、解除操作部４を含む各部が筐体２に設けられるので、当該監視システム１全体をオーバーヘッドモジュールとしてユニット化することができる。この構成により、監視システム１は、車両１００に対する搭載性を向上することができる。 Further, in the monitoring system 1 described above, since each part including the monitoring device 3 and the release operation unit 4 is provided in the housing 2, the entire monitoring system 1 can be unitized as an overhead module. With this configuration, the monitoring system 1 can improve the mountability on the vehicle 100.

さらに、以上で説明した監視システム１は、監視装置３によって、室内１０１に仮想される状態判定領域Ｔに対する監視対象者ＯＢの位置に基づいて警告を出力する。このような構成において、監視システム１は、上記のように警告が誤って解除されることを抑制し監視対象者ＯＢの状態をより正確に把握することができるので、車両１００の室内１０１の監視対象者ＯＢを適正に監視することができる。 Further, the monitoring system 1 described above outputs a warning based on the position of the monitored person OB with respect to the state determination area T virtualized in the room 101 by the monitoring device 3. In such a configuration, the monitoring system 1 can suppress the erroneous cancellation of the warning as described above and can more accurately grasp the state of the monitored person OB, and thus monitor the interior 101 of the vehicle 100. The target person OB can be properly monitored.

［実施形態２］
実施形態２に係る監視システムは、照明部を備える点で実施形態１とは異なる。以下では、上述した実施形態と同様の構成要素には共通の符号が付されると共に、共通する構成、作用、効果については、重複した説明はできるだけ省略する。 [Embodiment 2]
The monitoring system according to the second embodiment is different from the first embodiment in that it includes a lighting unit. In the following, the same components as those in the above-described embodiment are designated by a common reference numeral, and the common configurations, actions, and effects will be omitted as much as possible.

本実施形態に係る監視システム２０１は、図５に示すように、解除操作部４が複数設けられると共に、照明部２０６を備え、かつ、動作制御部３３ｂにかえて動作制御部２３３ｂを備える点で上述の監視システム１と異なる。監視システム２０１のその他の構成は、当該監視システム１と略同様の構成である。 As shown in FIG. 5, the monitoring system 201 according to the present embodiment is provided with a plurality of release operation units 4, a lighting unit 206, and an operation control unit 233b instead of the operation control unit 33b. It is different from the above-mentioned monitoring system 1. The other configurations of the monitoring system 201 are substantially the same as those of the monitoring system 1.

本実施形態の解除操作部４は、複数設けられる。ここでは、解除操作部４は、例えば、第１解除操作部２０４Ａ、第２解除操作部２０４Ｂ、第３解除操作部２０４Ｃ、第４解除操作部２０４Ｄの合計４つが設けられる。図６に示すように、第１解除操作部２０４Ａ、第２解除操作部２０４Ｂは、筐体２の運転席１０６側の側面に並んで露出して設けられる。第３解除操作部２０４Ｃは、筐体２の車両後方側の側面に露出して設けられる。第４解除操作部２０４Ｄは、筐体２の底面の運転席１０６側の端に露出して設けられる。なお、以下では、第１解除操作部２０４Ａと第２解除操作部２０４Ｂと第３解除操作部２０４Ｃと第４解除操作部２０４Ｄとを特に区別して説明する必要がない場合には、単に解除操作部４という場合がある。 A plurality of release operation units 4 of the present embodiment are provided. Here, the release operation unit 4 is provided with, for example, a total of four release operation units 204A, a second release operation unit 204B, a third release operation unit 204C, and a fourth release operation unit 204D. As shown in FIG. 6, the first release operation unit 204A and the second release operation unit 204B are provided side by side on the side surface of the housing 2 on the driver's seat 106 side so as to be exposed. The third release operation unit 204C is provided so as to be exposed on the side surface of the housing 2 on the rear side of the vehicle. The fourth release operation unit 204D is provided so as to be exposed at the end of the bottom surface of the housing 2 on the driver's seat 106 side. In the following, when it is not necessary to distinguish between the first release operation unit 204A, the second release operation unit 204B, the third release operation unit 204C, and the fourth release operation unit 204D, the release operation unit is simply released. It may be called 4.

照明部２０６は、解除操作部４を照明するイルミネーションを構成するものである。照明部２０６は、例えば、白色光、赤色光、青色光、緑色光等、種々の発光色で発光するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）素子等の光源を含んで構成される。照明部２０６は、例えば、解除操作部４を構成する押しボタンや操作領域等を内部側（筐体２の内側）から発光させることで解除操作部４を照明するものであってもよいし、外部側（筐体２の外側）から照らすことで解除操作部４を照明するものであってもよい。照明部２０６は、複数の解除操作部４に対してそれぞれ１つずつ設けられる。つまり、解除操作部４、及び、当該解除操作部４を照明する照明部２０６は、複数組設けられる。ここでは、照明部２０６は、第１解除操作部２０４Ａを照明する第１照明部２０６Ａ、第２解除操作部２０４Ｂを照明する第２照明部２０６Ｂ、第３解除操作部２０４Ｃを照明する第３照明部２０６Ｃ、第４解除操作部２０４Ｄを照明する第４照明部２０６Ｄを含んで構成される。なお、以下では、第１照明部２０６Ａと第２照明部２０６Ｂと第３照明部２０６Ｃと第４照明部２０６Ｄとを特に区別して説明する必要がない場合には、単に照明部２０６という場合がある。 The illumination unit 206 constitutes an illumination that illuminates the release operation unit 4. The illumination unit 206 includes a light source such as an LED (Light Emitting Diode) element that emits light in various emission colors such as white light, red light, blue light, and green light. The lighting unit 206 may illuminate the release operation unit 4 by, for example, emitting light from the internal side (inside of the housing 2) the push buttons, the operation area, and the like constituting the release operation unit 4. The release operation unit 4 may be illuminated by illuminating from the outside (outside of the housing 2). One illumination unit 206 is provided for each of the plurality of release operation units 4. That is, a plurality of sets of the release operation unit 4 and the lighting units 206 that illuminate the release operation unit 4 are provided. Here, the illumination unit 206 is a third illumination that illuminates the first illumination unit 206A that illuminates the first release operation unit 204A, the second illumination unit 206B that illuminates the second release operation unit 204B, and the third release operation unit 204C. The unit 206C and the fourth lighting unit 206D that illuminate the fourth release operation unit 204D are included. In the following, when it is not necessary to distinguish between the first lighting unit 206A, the second lighting unit 206B, the third lighting unit 206C, and the fourth lighting unit 206D, the lighting unit 206 may be simply referred to. ..

動作制御部２３３ｂは、上述した動作制御部３３ｂと同様に、判定部３３ａによる監視対象者ＯＢの状態の判定結果に基づいて出力部３２を含む各部の動作を制御する部分である。その上で、本実施形態の動作制御部２３３ｂは、解除操作部４、及び、照明部２０６の動作を制御する操作部／照明部制御部としても機能する点で動作制御部３３ｂと異なる。 The operation control unit 233b is a unit that controls the operation of each unit including the output unit 32 based on the determination result of the state of the monitored person OB by the determination unit 33a, similarly to the operation control unit 33b described above. On top of that, the operation control unit 233b of the present embodiment is different from the operation control unit 33b in that it also functions as an operation unit / illumination unit control unit that controls the operation of the release operation unit 4 and the illumination unit 206.

本実施形態の動作制御部２３３ｂは、監視装置３によって警告が出力される際に複数組の解除操作部４、照明部２０６のうちのいずれか１組の動作を有効とし、他の組の動作を無効とする。つまり、解除操作部４、及び、照明部２０６は、複数組設けられ、監視装置３によって警告が出力される際にいずれか１組の動作が有効とされ、他の組の動作が無効とされる。動作制御部２３３ｂは、動作が有効とされた照明部２０６を制御して点灯し、動作が無効とされた照明部２０６を消灯のまま維持する。これにより、動作が有効とされた照明部２０６は、対応する解除操作部４を照明し、動作が無効とされた照明部２０６は、解除操作部４を照明しない。そして、動作制御部２３３ｂは、警告を出力している状態で、動作が有効とされた解除操作部４に警告解除操作が入力された場合に、警告を解除する。すなわち、動作制御部２３３ｂは、動作が有効とされた解除操作部４に対して警告解除操作が入力され、当該解除操作部４から解除操作入力信号が入力されると、出力部３２を制御し警告を解除する。またこのとき、動作制御部２３３ｂは、当該照明部２０６による解除操作部４の照明も終了する。一方、動作制御部２３３ｂは、警告を出力している状態で、動作が無効とされた解除操作部４に警告解除操作が入力された場合に、警告を解除しない。すなわち、動作制御部２３３ｂは、動作が無効とされた解除操作部４に対して警告解除操作が入力され、当該解除操作部４から解除操作入力信号が入力されても、出力部３２を制御せず警告を解除しない。あるいは、動作制御部２３３ｂは、動作が無効とされた解除操作部４に対して警告解除操作が入力されても、当該解除操作部４から解除操作入力信号自体を出力させないように制御してもよい。 The operation control unit 233b of the present embodiment enables the operation of any one of a plurality of sets of the release operation unit 4 and the lighting unit 206 when a warning is output by the monitoring device 3, and operates the other set. Is invalid. That is, a plurality of sets of the release operation unit 4 and the lighting unit 206 are provided, and when a warning is output by the monitoring device 3, the operation of any one set is valid and the operation of the other set is invalid. To. The operation control unit 233b controls and lights the lighting unit 206 whose operation is enabled, and keeps the lighting unit 206 whose operation is disabled remains off. As a result, the lighting unit 206 whose operation is valid illuminates the corresponding release operation unit 4, and the lighting unit 206 whose operation is invalid does not illuminate the release operation unit 4. Then, the operation control unit 233b releases the warning when the warning release operation is input to the release operation unit 4 for which the operation is enabled while the warning is being output. That is, the operation control unit 233b controls the output unit 32 when the warning release operation is input to the release operation unit 4 for which the operation is enabled and the release operation input signal is input from the release operation unit 4. Clear the warning. At this time, the operation control unit 233b also ends the illumination of the release operation unit 4 by the illumination unit 206. On the other hand, the operation control unit 233b does not release the warning when the warning release operation is input to the release operation unit 4 whose operation is invalidated while the warning is being output. That is, the operation control unit 233b can control the output unit 32 even if a warning release operation is input to the release operation unit 4 whose operation is invalidated and a release operation input signal is input from the release operation unit 4. Do not clear the warning. Alternatively, the operation control unit 233b may control so that the release operation input signal itself is not output from the release operation unit 4 even if the warning release operation is input to the release operation unit 4 whose operation is invalidated. Good.

また、本実施形態の動作制御部２３３ｂは、例えば、検知部３１による監視対象者ＯＢの状態の検知結果に基づいて照明部２０６を制御するようにしてもよい。例えば、動作制御部２３３ｂは、当該検知結果に基づいた判定部３３ａによる監視対象者ＯＢの状態の判定結果に基づいて、対象となる照明部２０６による解除操作部４の照明態様を可変とするように当該照明部２０６を制御するようにしてもよい。つまり、照明部２０６は、監視装置３による監視対象者ＯＢの状態の検知結果、判定結果に基づいて、解除操作部４に対する照明態様が可変とされてもよい。動作制御部２３３ｂは、照明態様として、例えば、照明部２０６の発光色、明るさ、点灯／消灯の周期、パターン、回数等を可変とすることができる。動作制御部２３３ｂは、例えば、監視対象者ＯＢの状態が警告状態である際の緊急度に応じて照明部２０６による解除操作部４の照明態様を可変としてもよい。ここで、上記警告状態である際の緊急度は、例えば、監視対象者ＯＢの状態が警告状態であるものと判定された頻度や警告状態であるものと判定されている期間の長さ等に応じて設定される。この場合、動作制御部２３３ｂは、監視対象者ＯＢの状態が警告状態であるものと判定された頻度が相対的に低い場合や警告状態であるものと判定されている期間が相対的に短い場合には、警告状態である際の緊急度が相対的に低いものと判定する。そして、動作制御部２３３ｂは、監視対象者ＯＢの状態が警告状態である際の緊急度が相対的に低い場合には、例えば、照明部２０６の点灯／消灯の周期を相対的に長くし同じパターンでゆっくりと点滅させる。またこの場合、動作制御部２３３ｂは、照明部２０６の発光色を青色等にしてもよい。一方、動作制御部２３３ｂは、監視対象者ＯＢの状態が警告状態である際の緊急度が相対的に高い場合には、例えば、照明部２０６の点灯／消灯の周期を相対的に短くしパターンを変えながら素早く点滅させる。またこの場合、動作制御部２３３ｂは、照明部２０６の発光色を赤色等にしてもよい。 Further, the motion control unit 233b of the present embodiment may control the lighting unit 206 based on the detection result of the state of the monitored person OB by the detection unit 31, for example. For example, the motion control unit 233b makes the illumination mode of the release operation unit 4 by the target lighting unit 206 variable based on the determination result of the state of the monitored person OB by the determination unit 33a based on the detection result. The lighting unit 206 may be controlled. That is, the lighting unit 206 may change the lighting mode for the release operation unit 4 based on the detection result and the determination result of the state of the monitored person OB by the monitoring device 3. The operation control unit 233b can change, for example, the emission color, brightness, lighting / extinguishing cycle, pattern, number of times, etc. of the lighting unit 206 as the lighting mode. The motion control unit 233b may, for example, change the illumination mode of the release operation unit 4 by the illumination unit 206 according to the degree of urgency when the state of the monitored person OB is a warning state. Here, the degree of urgency in the above warning state is, for example, the frequency at which the state of the monitored person OB is determined to be the warning state, the length of the period determined to be the warning state, and the like. It is set accordingly. In this case, the operation control unit 233b has a relatively low frequency of determining that the state of the monitored person OB is in the warning state, or a case where the period of determining that the state of the warning state is relatively short. Is determined to have a relatively low degree of urgency when in a warning state. Then, when the degree of urgency when the state of the monitored person OB is a warning state is relatively low, the operation control unit 233b is the same, for example, by making the lighting / extinguishing cycle of the lighting unit 206 relatively long. Blink slowly with a pattern. Further, in this case, the operation control unit 233b may set the emission color of the illumination unit 206 to blue or the like. On the other hand, when the urgency of the operation control unit 233b when the state of the monitored person OB is a warning state is relatively high, for example, the lighting unit 206 has a relatively short lighting / extinguishing cycle pattern. Flash quickly while changing. Further, in this case, the operation control unit 233b may set the emission color of the illumination unit 206 to red or the like.

次に、図７のフロー図を参照して監視システム２０１によって実行される監視制御の一例を説明する。ここでも、上述した監視システム１によって実行される監視制御の説明と重複する説明をできる限り省略する。 Next, an example of monitoring control executed by the monitoring system 201 will be described with reference to the flow chart of FIG. 7. Here, too, the description overlapping with the description of the monitoring control executed by the monitoring system 1 described above will be omitted as much as possible.

判定部３３ａは、ステップＳＴ２の判定で、注意喚起状態への遷移後、警告状態判定期間が経過したと判定した場合（ステップＳＴ２：Ｙｅｓ）、監視対象者ＯＢの状態が警告状態であるものと判定し、ステップＳＴ２０１の処理に移行する。このとき、動作制御部２３３ｂは、警告状態へ遷移してからの経過時間のカウントを開始する。また、判定部３３ａは、ステップＳＴ５の判定で、監視対象者ＯＢの状態が警告状態であるものと判定した場合（ステップＳＴ５：Ｙｅｓ）、ステップＳＴ２０１の処理に移行する。このとき、動作制御部２３３ｂは、警告状態へ遷移してからの経過時間のカウントを開始する。 When the determination unit 33a determines in the determination of step ST2 that the warning status determination period has elapsed after the transition to the alert state (step ST2: Yes), the status of the monitored person OB is determined to be the warning status. Judgment is made, and the process proceeds to step ST201. At this time, the operation control unit 233b starts counting the elapsed time from the transition to the warning state. Further, when the determination unit 33a determines in the determination of step ST5 that the state of the monitored person OB is a warning state (step ST5: Yes), the determination unit 33a shifts to the process of step ST201. At this time, the operation control unit 233b starts counting the elapsed time from the transition to the warning state.

判定部３３ａは、ステップＳＴ２０１の処理では、警告状態への遷移後、初回の制御周期か否かを判定する（ステップＳＴ２０１）。動作制御部２３３ｂは、判定部３３ａによって警告状態への遷移後、初回の制御周期であるものと判定された場合（ステップＳＴ２０１：Ｙｅｓ）、複数組の解除操作部４、照明部２０６のうちのいずれか１組を正解位置として選定する（ステップＳＴ２０２）。この場合、動作制御部２３３ｂは、例えば、種々の公知の手法で複数組の解除操作部４、照明部２０６のなかからランダムに１組を正解位置として選定する。そして、動作制御部２３３ｂは、ステップＳＴ２０３の処理に移行する。一方、動作制御部２３３ｂは、ステップＳＴ２０１の判定で、判定部３３ａによって警告状態への遷移後、初回の制御周期でないと判定された場合（ステップＳＴ２０１：Ｎｏ）、ステップＳＴ２０３の処理に移行する。 In the process of step ST201, the determination unit 33a determines whether or not it is the first control cycle after the transition to the warning state (step ST201). When the motion control unit 233b is determined by the determination unit 33a to be the first control cycle after the transition to the warning state (step ST201: Yes), the operation control unit 233b is among a plurality of sets of the release operation unit 4 and the lighting unit 206. One set is selected as the correct position (step ST202). In this case, the motion control unit 233b randomly selects one set as the correct answer position from the plurality of sets of the release operation unit 4 and the illumination unit 206 by various known methods. Then, the operation control unit 233b shifts to the process of step ST203. On the other hand, when the operation control unit 233b determines in step ST201 that it is not the first control cycle after the transition to the warning state by the determination unit 33a (step ST201: No), the operation control unit 233b shifts to the process of step ST203.

動作制御部２３３ｂは、ステップＳＴ２０３の処理では、ステップＳＴ２０２で選定された正解位置の解除操作部４の動作を有効とし、警告状態への遷移後、当該正解位置の解除操作部４に対して警告解除操作の入力があったか否かを判定する（ステップＳＴ２０３）。この場合、動作制御部２３３ｂは、他の解除操作部４の動作を無効とする。動作制御部２３３ｂは、正解位置の解除操作部４から解除操作入力信号が入力されたか否かに基づいて正解位置の解除操作部４に対して警告解除操作の入力があったか否かを判定する。動作制御部２３３ｂは、正解位置の解除操作部４から解除操作入力信号が入力されていないと判定した場合、正解位置の解除操作部４に対して警告解除操作の入力がないと判定する。動作制御部２３３ｂは、正解位置の解除操作部４に対して警告解除操作の入力がないと判定した場合（ステップＳＴ２０３：Ｎｏ）、ステップＳＴ８の処理に移行する。 In the process of step ST203, the operation control unit 233b enables the operation of the release operation unit 4 of the correct answer position selected in step ST202, and after the transition to the warning state, warns the release operation unit 4 of the correct answer position. It is determined whether or not the release operation has been input (step ST203). In this case, the operation control unit 233b invalidates the operation of the other release operation unit 4. The operation control unit 233b determines whether or not a warning release operation has been input to the correct answer position release operation unit 4 based on whether or not a release operation input signal has been input from the correct answer position release operation unit 4. When the operation control unit 233b determines that the release operation input signal has not been input from the release operation unit 4 at the correct answer position, the operation control unit 233b determines that the warning release operation has not been input to the release operation unit 4 at the correct answer position. When the operation control unit 233b determines that there is no input of the warning release operation to the release operation unit 4 at the correct answer position (step ST203: No), the operation shifts to the process of step ST8.

動作制御部２３３ｂは、ステップＳＴ８の判定で、現在警告中であるものと判定した場合（ステップＳＴ８：Ｙｅｓ）、ステップＳＴ２０４の処理に移行する。一方、動作制御部２３３ｂは、ステップＳＴ８の判定で、現在警告中でないものと判定した場合（ステップＳＴ８：Ｎｏ）、出力部３２を制御し、監視対象者ＯＢに対して警告を表す情報を出力させた後（ステップＳＴ９）、ステップＳＴ２０４の処理に移行する。 When the operation control unit 233b determines in the determination of step ST8 that a warning is currently being issued (step ST8: Yes), the operation control unit 233b shifts to the process of step ST204. On the other hand, when the motion control unit 233b determines in step ST8 that the warning is not currently being issued (step ST8: No), the operation control unit 233b controls the output unit 32 and outputs information indicating a warning to the monitored person OB. After that (step ST9), the process proceeds to step ST204.

動作制御部２３３ｂは、ステップＳＴ２０４の処理では、ステップＳＴ２０２で選定された正解位置の解除操作部４に対応する照明部２０６を制御し動作を有効とし（イルミＯＮ）、当該照明部２０６によって正解位置の解除操作部４を照明する（ステップＳＴ２０４）。この場合、動作制御部２３３ｂは、他の照明部２０６の動作を無効とする。またこの場合、動作制御部２３３ｂは、すでに当該照明部２０６によって正解位置の解除操作部４を照明していた場合には当該正解位置の解除操作部４の照明を継続する。さらにこの場合、動作制御部２３３ｂは、警告状態であるものと判定された頻度や警告状態であるものと判定されている期間の長さ等に応じて緊急度を判定し、当該警告状態である際の緊急度に応じて照明部２０６による正解位置の解除操作部４の照明態様を可変としてもよい。その後、動作制御部２３３ｂは、ステップＳＴ１０の処理に移行する。 In the process of step ST204, the operation control unit 233b controls the illumination unit 206 corresponding to the release operation unit 4 of the correct answer position selected in step ST202 to enable the operation (illumination ON), and the illumination unit 206 controls the correct answer position. Illuminates the release operation unit 4 (step ST204). In this case, the operation control unit 233b invalidates the operation of the other lighting unit 206. Further, in this case, if the operation control unit 233b has already illuminated the release operation unit 4 of the correct answer position by the illumination unit 206, the operation control unit 233b continues to illuminate the release operation unit 4 of the correct answer position. Further, in this case, the operation control unit 233b determines the degree of urgency according to the frequency of determination of the warning state, the length of the period determined to be the warning state, and the like, and is in the warning state. The illumination mode of the release operation unit 4 of the correct answer position by the illumination unit 206 may be changed according to the degree of urgency. After that, the operation control unit 233b shifts to the process of step ST10.

動作制御部２３３ｂは、ステップＳＴ２０３の判定で、正解位置の解除操作部４から解除操作入力信号が入力されたと判定した場合、正解位置の解除操作部４に対して警告解除操作の入力があったと判定する。動作制御部２３３ｂは、正解位置の解除操作部４に対して警告解除操作の入力があったと判定した場合（ステップＳＴ２０３：Ｙｅｓ）、ステップＳＴ２０５の処理に移行する。 When the operation control unit 233b determines in the determination of step ST203 that the release operation input signal is input from the release operation unit 4 of the correct answer position, it is said that the warning release operation is input to the release operation unit 4 of the correct answer position. judge. When the operation control unit 233b determines that the warning release operation has been input to the release operation unit 4 at the correct answer position (step ST203: Yes), the operation control unit 233b shifts to the process of step ST205.

動作制御部２３３ｂは、ステップＳＴ２０５の処理では、正解位置の解除操作部４に対応する照明部２０６を制御し動作を無効とし（イルミＯＦＦ）、当該照明部２０６を消灯し当該照明部２０６による正解位置の解除操作部４の照明を終了する（ステップＳＴ２０５）。その後、動作制御部２３３ｂは、ステップＳＴ２０６の処理に移行する。 In the process of step ST205, the operation control unit 233b controls the illumination unit 206 corresponding to the release operation unit 4 of the correct answer position to invalidate the operation (illumination OFF), turns off the illumination unit 206, and the correct answer by the illumination unit 206. The illumination of the position release operation unit 4 is terminated (step ST205). After that, the operation control unit 233b shifts to the process of step ST206.

動作制御部２３３ｂは、ステップＳＴ２０６の処理では、ステップＳＴ２０２で選定された正解位置の解除操作部４をリセットし（ステップＳＴ２０６）、ステップＳＴ７の処理に移行する。 In the process of step ST206, the operation control unit 233b resets the release operation unit 4 of the correct answer position selected in step ST202 (step ST206), and shifts to the process of step ST7.

以上で説明した監視システム２０１は、監視対象者ＯＢの状態をより正確に把握することができるので、車両１００の室内１０１の監視対象者ＯＢを適正に監視することができる。 Since the monitoring system 201 described above can more accurately grasp the state of the monitored person OB, it is possible to properly monitor the monitored person OB in the interior 101 of the vehicle 100.

さらに、以上で説明した監視システム２０１は、解除操作部４を照明する照明部２０６を備える。ここで、この監視システム２０１は、監視対象者ＯＢによる警告解除操作を入力するための解除操作部４が運転席１０６に着座した監視対象者ＯＢのいわゆる周辺視野に入る領域に位置する傾向にある。この周辺視野は、いわゆる中心視野や有効視野と比較すると、物体がぼんやりとしか見えない傾向にあり、当該物体を明瞭に知覚し難い傾向にある。その反面、周辺視野は、いわゆる桿体細胞によって明暗を知覚しやすい傾向にあり、中心視野や有効視野と比較して、微小な光の明暗の変化や物体の動きに対して高感度で鋭敏に反応しやすい傾向にある。このため、監視システム２０１は、照明部２０６によって解除操作部４を照明することで、監視対象者ＯＢの周辺視野に位置する傾向にある解除操作部４の位置を当該監視対象者ＯＢに対して直感的に理解させ易くすることができる。またこの構成により、監視システム２０１は、監視対象者ＯＢの状態が警告状態であることを視覚的に訴求することもできる。この結果、監視システム２０１は、監視対象者ＯＢの状態をより正確に把握することができるので、車両１００の室内１０１の監視対象者ＯＢをより適正に監視することができる。 Further, the monitoring system 201 described above includes an illumination unit 206 that illuminates the release operation unit 4. Here, the monitoring system 201 tends to be located in a region where the release operation unit 4 for inputting the warning release operation by the monitored person OB enters the so-called peripheral vision of the monitored person OB seated in the driver's seat 106. .. In this peripheral visual field, when compared with the so-called central visual field and effective visual field, the object tends to be seen only vaguely, and it tends to be difficult to clearly perceive the object. On the other hand, the peripheral visual field tends to perceive light and darkness by so-called rod cells, and is more sensitive and sensitive to minute changes in light and darkness and movement of objects compared to the central visual field and effective visual field. It tends to react easily. Therefore, the monitoring system 201 illuminates the release operation unit 4 with the illumination unit 206 to set the position of the release operation unit 4 which tends to be located in the peripheral visual field of the monitoring target person OB with respect to the monitoring target person OB. It can be made easy to understand intuitively. Further, with this configuration, the monitoring system 201 can visually appeal that the state of the monitored person OB is a warning state. As a result, the monitoring system 201 can more accurately grasp the state of the monitored person OB, so that the monitored person OB in the interior 101 of the vehicle 100 can be monitored more appropriately.

ここでは、以上で説明した監視システム２０１は、解除操作部４、及び、照明部２０６が複数組設けられ、監視装置３によって警告が出力される際にいずれか１組の動作が有効とされ、他の組の動作が無効とされる。この構成により、監視システム２０１は、複数組の解除操作部４、照明部２０６のうち照明部２０６によって照明され動作が有効とされた解除操作部４に警告解除操作が入力されることで警告が解除される。一方、監視システム２０１は、それ以外の解除操作部４に警告解除操作が入力されても警告が解除されないようにすることができる。この結果、監視システム２０１は、解除操作部４に対して反射的／無意識的に警告解除操作が入力され警告が誤解除されることを抑制することができ、監視対象者ＯＢの意識を明確に確認した上で警告を解除することができる。この点でも、監視システム２０１は、監視対象者ＯＢの状態をより正確に把握することができるので、車両１００の室内１０１の監視対象者ＯＢをより適正に監視することができる。またこの構成により、監視システム２０１は、監視対象者ＯＢの意識覚醒を促すこともできる。 Here, in the monitoring system 201 described above, a plurality of sets of the release operation unit 4 and the lighting unit 206 are provided, and when a warning is output by the monitoring device 3, any one set of operations is effective. The other set of operations is invalidated. With this configuration, the monitoring system 201 gives a warning by inputting a warning release operation to the release operation unit 4 which is illuminated by the illumination unit 206 and whose operation is valid among the plurality of sets of release operation units 4 and the illumination unit 206. It will be released. On the other hand, the monitoring system 201 can prevent the warning from being released even if the warning release operation is input to the other release operation units 4. As a result, the monitoring system 201 can suppress that the warning release operation is reflexively / unconsciously input to the release operation unit 4 and the warning is erroneously released, and the consciousness of the monitored person OB is clarified. You can cancel the warning after confirming. In this respect as well, the monitoring system 201 can more accurately grasp the state of the monitored person OB, so that the monitored person OB in the interior 101 of the vehicle 100 can be monitored more appropriately. Further, with this configuration, the monitoring system 201 can also promote the consciousness awakening of the monitored person OB.

さらに、以上で説明した監視システム２０１は、監視装置３による監視対象者ＯＢの状態の検知結果、判定結果に基づいて、照明部２０６による解除操作部４の照明態様が可変とされる。この結果、監視システム２０１は、照明部２０６による解除操作部４の照明態様によって監視対象者ＯＢの状態を感覚的に伝え易くすることができ、例えば、警告状態である際の緊急度を分かり易く捉えさせることができる。 Further, in the monitoring system 201 described above, the lighting mode of the release operation unit 4 by the lighting unit 206 is variable based on the detection result and the determination result of the state of the monitored person OB by the monitoring device 3. As a result, the monitoring system 201 can easily convey the state of the monitored person OB sensuously by the lighting mode of the release operation unit 4 by the lighting unit 206, and for example, it is easy to understand the degree of urgency in the warning state. It can be captured.

なお、以上で説明した監視システム２０１は、図５、図６に示すように、さらに、外部解除操作部２０７を備えていてもよい。外部解除操作部２０７は、解除操作部４と同様に、警告解除操作を入力可能なものである。ただし、外部解除操作部２０７は、筐体２以外の場所に設けられる点で解除操作部４とは異なる。ここでは、外部解除操作部２０７は、車両１００の室内１０１に設けられたインストルメントパネル１０９の外面において、監視対象者ＯＢである運転者の手が届く位置に露出するように設けられる。外部解除操作部２０７は、解除操作部４と同様に、例えば、押しボタン、静電容量式タッチスイッチや赤外線センサ等の非接触式センサ等によって構成される。外部解除操作部２０７は、外部接続部５に電気的に接続される。ここでは、外部接続部５は、電源供給用の電源線、信号通信用の通信線等の配索材を介して監視システム２０１の演算部３３の動作制御部２３３ｂと外部解除操作部２０７とを相互に通信可能に電気的に接続し、各種の電気信号を相互に授受可能とする。外部解除操作部２０７は、警告解除操作が入力されることで、出力部３２による警告を解除させる。外部解除操作部２０７は、例えば、出力部３２によって警告が出力されている状態で、監視対象者ＯＢ等の手や指によって触れられて警告解除操作が入力されると、演算部３３の動作制御部２３３ｂに解除操作入力信号を出力する。動作制御部２３３ｂは、外部解除操作部２０７から解除操作入力信号が入力されると、出力部３２を制御し警告を解除する。この構成により、監視装置３は、警告を出力している状態で、外部解除操作部２０７に警告解除操作が入力された場合に、警告を解除することができる。 In addition, as shown in FIGS. 5 and 6, the monitoring system 201 described above may further include an external release operation unit 207. Similar to the release operation unit 4, the external release operation unit 207 can input a warning release operation. However, the external release operation unit 207 is different from the release operation unit 4 in that it is provided in a place other than the housing 2. Here, the external release operation unit 207 is provided on the outer surface of the instrument panel 109 provided in the interior 101 of the vehicle 100 so as to be exposed at a position within the reach of the driver who is the monitored person OB. Similar to the release operation unit 4, the external release operation unit 207 is composed of, for example, a push button, a non-contact sensor such as a capacitance type touch switch or an infrared sensor. The external release operation unit 207 is electrically connected to the external connection unit 5. Here, the external connection unit 5 connects the operation control unit 233b and the external release operation unit 207 of the calculation unit 33 of the monitoring system 201 via a wiring material such as a power supply line for power supply and a communication line for signal communication. It is electrically connected so that it can communicate with each other, and various electric signals can be exchanged with each other. The external release operation unit 207 cancels the warning by the output unit 32 when the warning release operation is input. For example, when the external release operation unit 207 is touched by the hand or finger of the monitored person OB or the like while the warning is output by the output unit 32 and the warning release operation is input, the operation control of the calculation unit 33 is performed. The release operation input signal is output to unit 233b. When the release operation input signal is input from the external release operation unit 207, the operation control unit 233b controls the output unit 32 to release the warning. With this configuration, the monitoring device 3 can release the warning when the warning release operation is input to the external release operation unit 207 while the warning is being output.

この場合、照明部２０６は、外部解除操作部２０７を照明する外部照明部２０６Ｅも含んで構成される。動作制御部２３３ｂは、外部解除操作部２０７、及び、外部照明部２０６Ｅの動作を制御する操作部／照明部制御部としても機能する。そして、動作制御部２３３ｂは、動作の有効／無効を制御する対象として、外部解除操作部２０７、外部照明部２０６Ｅの組も含めて、当該動作の有効／無効を制御する。つまり、動作制御部２３３ｂは、監視装置３によって警告が出力される際に、複数組（上記の例では４組）の解除操作部４、照明部２０６、及び、１組の外部解除操作部２０７、照明部２０６のうちのいずれか１組の動作を有効とし、他の組の動作を無効とする。この場合であっても、監視システム２０１は、監視対象者ＯＢの状態をより正確に把握することができるので、車両１００の室内１０１の監視対象者ＯＢをより適正に監視することができる。 In this case, the lighting unit 206 is also configured to include the external lighting unit 206E that illuminates the external release operation unit 207. The operation control unit 233b also functions as an operation unit / lighting unit control unit that controls the operation of the external release operation unit 207 and the external lighting unit 206E. Then, the operation control unit 233b controls the validity / invalidity of the operation, including the set of the external release operation unit 207 and the external lighting unit 206E, as the target for controlling the validity / invalidity of the operation. That is, when the monitoring device 3 outputs a warning, the operation control unit 233b has a plurality of sets (4 sets in the above example) of the release operation unit 4, the lighting unit 206, and one set of the external release operation unit 207. , The operation of any one set of the lighting unit 206 is enabled, and the operation of the other set is invalidated. Even in this case, the monitoring system 201 can more accurately grasp the state of the monitored person OB, so that the monitored person OB in the interior 101 of the vehicle 100 can be monitored more appropriately.

なお、上述した本発明の実施形態に係る監視システムは、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。 The monitoring system according to the embodiment of the present invention described above is not limited to the embodiment described above, and various modifications can be made within the scope described in the claims.

以上の説明では、監視装置３は、一例として車両１００の室内１０１の監視対象者ＯＢとして、運転席１０６に着座した運転者の状態を監視するものとして説明したがこれに限らない。 In the above description, the monitoring device 3 has been described as, for example, monitoring the state of the driver seated in the driver's seat 106 as the monitored person OB in the interior 101 of the vehicle 100, but the present invention is not limited to this.

以上で説明した監視装置３は、解除操作部４が操作され警告が解除された回数に応じて監視の内容を変更するようにしてもよい。例えば、監視装置３は、解除操作部４が操作され警告が解除された回数が多くなるのにしたがって警告状態判定期間、支援開始判定期間を相対的に短くするようにしてもよい。 The monitoring device 3 described above may change the content of monitoring according to the number of times the release operation unit 4 is operated and the warning is released. For example, the monitoring device 3 may make the warning state determination period and the support start determination period relatively shorter as the number of times the warning is released by operating the release operation unit 4 increases.

以上の説明では、監視システム１、２０１は、全体が車両１００の天井１０２の室内１０１側の面に設けられ、オーバーヘッドモジュールを構成するものとして説明したがこれに限らない。監視システム１、２０１は、少なくとも解除操作部４が天井１０２に設けられた筐体２の外面に露出して設けられればよい。監視システム１、２０１は、例えば、監視装置３が筐体２の外部に設けられ、配索材を介して解除操作部４等と電気的に接続されるものであってもよい。例えば、演算部３３は、車両１００の各部を統括的に制御する車両ＥＣＵ１０７によって兼用されて構成されてもよい。また、出力部３２は、車両１００に搭載されたナビゲーションシステムのディスプレイやスピーカ等が兼用されてもよい。 In the above description, the monitoring systems 1 and 201 are described as being provided on the surface of the ceiling 102 of the vehicle 100 on the indoor 101 side as a whole to form an overhead module, but the present invention is not limited to this. The monitoring systems 1 and 201 may be provided with at least the release operation unit 4 exposed on the outer surface of the housing 2 provided on the ceiling 102. In the monitoring systems 1 and 201, for example, the monitoring device 3 may be provided outside the housing 2 and electrically connected to the release operation unit 4 and the like via a wiring material. For example, the calculation unit 33 may be configured by the vehicle ECU 107 that collectively controls each part of the vehicle 100. Further, the output unit 32 may also be used as a display, a speaker, or the like of a navigation system mounted on the vehicle 100.

また、以上の説明では、検知部３１は、天井１０２に設けられた筐体２に収容され運転席１０６に着座した監視対象者ＯＢの３次元位置を計測可能なステレオカメラ等の検知器によって構成されるものとして説明したがこれに限らない。監視装置３は、状態判定領域Ｔに対する監視対象者ＯＢの位置に基づいて監視対象者ＯＢの状態を監視し警告を出力するものとして説明したがこれに限らず、監視対象者ＯＢの異常を検知した際に警告を出力するものであれば別の構成であってもよい。例えば、検知部３１は、監視対象者ＯＢの状態として、監視対象者ＯＢの生体情報（心拍数、呼吸数、脈拍数、血圧、体温、脳波、筋電流等のバイタルサイン、血糖値情報、血中アルコール濃度、心電情報、覚醒度情報、顔向き・視線情報、瞼開閉度情報等）や監視対象者ＯＢによる車両操作情報（アクセルペダルストローク情報、ブレーキペダルストローク情報、ステアリング舵角情報、ヨーレート情報等）を検知するものであってもよい。この場合、検知部３１は、例えば、赤外線、ミリ波、超音波等を用いた各種レーダ／ソナー、各種生体情報を検知する電極、血圧センサ、心電センサ、心拍センサ、呼吸センサ、脈拍センサ、血圧センサ、体温センサ、脳波センサ、筋電流センサ等の機器、車両１００の各部に設けられ各種車両操作情報を検知するセンサ等を含んで構成されてもよい。またこの場合、検知部３１は、運転席１０６等の座席、ステアリング１０５、当該ステアリング１０５を支持するステアリングコラム、メータ、インストルメントパネル、ピラー、ルームミラー、種々のウェアラブル機器等に設けられていてもよい。そして、監視装置３は、これらの機器によって検知される監視対象者ＯＢの状態を表す各種情報に基づいて監視対象者ＯＢの状態を監視し警告を出力するものであってもよい。 Further, in the above description, the detection unit 31 is configured by a detector such as a stereo camera that is housed in the housing 2 provided on the ceiling 102 and can measure the three-dimensional position of the monitored person OB seated in the driver's seat 106. It was explained as being done, but it is not limited to this. The monitoring device 3 has been described as monitoring the state of the monitored person OB based on the position of the monitored person OB with respect to the state determination area T and outputting a warning, but the present invention is not limited to this, and an abnormality of the monitored person OB is detected. A different configuration may be used as long as a warning is output when this is done. For example, the detection unit 31 determines the state of the monitored subject OB as biological information (heart rate, respiratory rate, pulse rate, blood pressure, body temperature, brain wave, muscle current, and other vital signs, blood glucose level information, blood) of the monitored subject OB. Medium alcohol concentration, electrocardiographic information, arousal level information, face orientation / line-of-sight information, eyelid opening / closing degree information, etc.) and vehicle operation information (accelerator pedal stroke information, brake pedal stroke information, steering angle information, yaw rate) by the monitored person OB Information, etc.) may be detected. In this case, the detection unit 31 is, for example, various radars / sonars using infrared rays, millimeter waves, ultrasonic waves, electrodes for detecting various biological information, blood pressure sensors, electrocardiographic sensors, heart rate sensors, respiratory sensors, pulse sensors, etc. It may be configured to include devices such as a blood pressure sensor, a body temperature sensor, a brain wave sensor, and a muscle current sensor, and sensors provided in each part of the vehicle 100 to detect various vehicle operation information. Further, in this case, even if the detection unit 31 is provided in a seat such as the driver's seat 106, a steering 105, a steering column supporting the steering 105, a meter, an instrument panel, a pillar, a rearview mirror, various wearable devices, and the like. Good. Then, the monitoring device 3 may monitor the state of the monitored person OB based on various information indicating the state of the monitored person OB detected by these devices and output a warning.

以上で説明した照明部２０６は、実施形態１で説明した監視システム１の解除操作部４に対して設けられてもよい。 The lighting unit 206 described above may be provided for the release operation unit 4 of the monitoring system 1 described in the first embodiment.

１、２０１ 監視システム
２ 筐体
３ 監視装置
４ 解除操作部
２０４Ａ 第１解除操作部
２０４Ｂ 第２解除操作部
２０４Ｃ 第３解除操作部
２０４Ｄ 第４解除操作部
２０６ 照明部
２０６Ａ 第１照明部
２０６Ｂ 第２照明部
２０６Ｃ 第３照明部
２０６Ｄ 第４照明部
２０６Ｅ 外部照明部
２０７ 外部解除操作部
１００ 車両
１０１ 室内
１０２ 天井
ＯＢ 監視対象者
Ｔ 状態判定領域 1, 201 Monitoring system 2 Housing 3 Monitoring device 4 Release operation unit 204A 1st release operation unit 204B 2nd release operation unit 204C 3rd release operation unit 204D 4th release operation unit 206 Lighting unit 206A 1st lighting unit 206B 2nd Lighting unit 206C 3rd lighting unit 206D 4th lighting unit 206E External lighting unit 207 External release operation unit 100 Vehicle 101 Indoor 102 Ceiling OB Monitoring target person T Status determination area

Claims (6)

車両の室内の監視対象者の異常を検知した際に警告を出力する監視装置と、
前記車両の天井の前記室内側の面に設けられた筐体と、
前記筐体の外面に露出して設けられ警告解除操作を入力可能である解除操作部とを備え、
前記監視装置は、前記車両の前記室内に３次元で仮想される状態判定領域として、正常領域、当該正常領域の外側に設定された注意喚起領域、及び、当該注意喚起領域の外側に設定された警告領域に対する前記監視対象者の頭部の位置に基づいて、前記監視対象者の状態を、正常状態、注意喚起状態、及び、警告状態の３つの状態に区別して判定し、前記監視対象者の状態が注意喚起状態であるものと判定された場合、前記警告の前段階として注意喚起を出力し、前記監視対象者の状態が警告状態であるものと判定された場合、前記警告を出力し、前記警告を出力している状態で、前記解除操作部に前記警告解除操作が入力された場合に、前記警告を解除する一方、予め定められた支援開始条件が成立したら、前記車両を統括的に制御する車両ＥＣＵによって当該車両に搭載されるアクチュエータの動作を制御させ支援を行わせる支援制御を実行させることを特徴とする、
監視システム。 A monitoring device that outputs a warning when an abnormality of the monitored person in the vehicle interior is detected,
A housing provided on the indoor surface of the ceiling of the vehicle and
It is provided with a release operation unit exposed on the outer surface of the housing and capable of inputting a warning release operation.
The monitoring device is set as a three-dimensionally virtualized state determination area in the interior of the vehicle, a normal area, a warning area set outside the normal area, and a state outside the warning area. Based on the position of the head of the monitored person with respect to the warning area, the state of the monitored person is determined by distinguishing it into three states of a normal state, an alert state, and a warning state, and the state of the monitored person is determined. When it is determined that the state is a warning state, a warning is output as a pre-stage of the warning, and when it is determined that the state of the monitored person is a warning state, the warning is output. When the warning release operation is input to the release operation unit while the warning is being output, the warning is released, and when a predetermined support start condition is satisfied, the vehicle is integrated. The vehicle ECU to be controlled is characterized in that the operation of the actuator mounted on the vehicle is controlled and the support control is executed.
Monitoring system. 前記監視装置は、前記筐体に設けられる、
請求項１に記載の監視システム。 The monitoring device is provided in the housing.
The monitoring system according to claim 1. 前記解除操作部を照明する照明部を備える、
請求項１又は請求項２に記載の監視システム。 A lighting unit that illuminates the release operation unit is provided.
The monitoring system according to claim 1 or 2 . 前記解除操作部、及び、当該解除操作部を照明する前記照明部は、複数組設けられ、前記監視装置によって前記警告が出力される際にいずれか１組の動作が有効とされ、他の組の動作が無効とされ、
動作が有効とされた前記照明部は、前記解除操作部を照明し、
動作が無効とされた前記照明部は、前記解除操作部を照明せず、
前記監視装置は、前記警告を出力している状態で、動作が有効とされた前記解除操作部に前記警告解除操作が入力された場合に、前記警告を解除し、動作が無効とされた前記解除操作部に前記警告解除操作が入力された場合に、前記警告を解除しない、
請求項３に記載の監視システム。 A plurality of sets of the release operation unit and the lighting unit that illuminates the release operation unit are provided, and when the warning is output by the monitoring device, any one set of operations is effective, and the other set is effective. Is disabled and
The lighting unit whose operation is enabled illuminates the release operation unit.
The lighting unit whose operation is invalid does not illuminate the release operation unit,
When the warning release operation is input to the release operation unit whose operation is enabled while the monitoring device is outputting the warning, the warning is released and the operation is invalidated. When the warning release operation is input to the release operation unit, the warning is not released.
The monitoring system according to claim 3 . 前記照明部は、前記監視装置による前記監視対象者の状態の検知結果に基づいて、前記解除操作部の照明態様を可変とする、
請求項３又は請求項４に記載の監視システム。 The lighting unit changes the lighting mode of the release operation unit based on the detection result of the state of the monitored person by the monitoring device.
The monitoring system according to claim 3 or 4 . 前記監視装置は、前記支援開始条件として、予め設定された支援開始判定期間が経過した場合に、前記車両ＥＣＵによって前記アクチュエータの動作を制御させ、前記支援として、前記車両の自動減速、自動停止、又は、緊急連絡先への通報を行わせる前記支援制御を実行させる、
請求項１乃至請求項５のいずれか１項に記載の監視システム。 The monitoring device controls the operation of the actuator by the vehicle ECU when a preset support start determination period elapses as the support start condition, and automatically decelerates or stops the vehicle as the support. Alternatively, the support control for making a report to the emergency contact is executed.
The monitoring system according to any one of claims 1 to 5 .
JP2017136217A 2017-05-19 2017-07-12 Monitoring system Active JP6786451B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/974,123 US11117515B2 (en) 2017-05-19 2018-05-08 Monitoring system
CN201810474672.4A CN108944667B (en) 2017-05-19 2018-05-17 Monitoring system
DE102018207731.2A DE102018207731A1 (en) 2017-05-19 2018-05-17 monitoring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017099577 2017-05-19
JP2017099577 2017-05-19

Publications (2)

Publication Number Publication Date
JP2018195280A JP2018195280A (en) 2018-12-06
JP6786451B2 true JP6786451B2 (en) 2020-11-18

Family

ID=64571803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017136217A Active JP6786451B2 (en) 2017-05-19 2017-07-12 Monitoring system

Country Status (1)

Country Link
JP (1) JP6786451B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7240604B2 (en) * 2019-06-21 2023-03-16 トヨタ紡織株式会社 overhead module

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5258158B2 (en) * 2005-11-09 2013-08-07 大阪瓦斯株式会社 Alarm device
US9129460B2 (en) * 2007-06-25 2015-09-08 Inthinc Technology Solutions, Inc. System and method for monitoring and improving driver behavior
JP2009048605A (en) * 2007-07-24 2009-03-05 Nissan Motor Co Ltd Drowsy driving-preventing device
JP2009277145A (en) * 2008-05-16 2009-11-26 Toyota Motor Corp Drowsiness awakening device
JP2010204847A (en) * 2009-03-02 2010-09-16 Toyota Motor Corp Driver condition detection device and collision early detection device using same
US8725311B1 (en) * 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
JP6364997B2 (en) * 2014-06-23 2018-08-01 株式会社デンソー Driver inoperability detection device
JP2016032257A (en) * 2014-07-30 2016-03-07 株式会社デンソー Driver monitoring device
JP6303907B2 (en) * 2014-08-08 2018-04-04 株式会社デンソー Driver monitoring device
JP6323318B2 (en) * 2014-12-12 2018-05-16 ソニー株式会社 Vehicle control apparatus, vehicle control method, and program

Also Published As

Publication number Publication date
JP2018195280A (en) 2018-12-06

Similar Documents

Publication Publication Date Title
US11117515B2 (en) Monitoring system
JP6976089B2 (en) Driving support device and driving support method
JP5288045B2 (en) Emergency vehicle evacuation device
JP5527411B2 (en) Emergency vehicle evacuation device
US6920234B1 (en) Method and device for monitoring the interior and surrounding area of a vehicle
JP6627684B2 (en) Driver status determination device, vehicle control system
JP6782283B2 (en) Monitoring system
CN109561277B (en) Monitoring system
CN107408349B (en) Information presentation device and information presentation method
US20140293053A1 (en) Safety monitoring apparatus and method thereof for human-driven vehicle
JP2016085563A (en) On-vehicle control device
CN105378813A (en) Information display device
JP2017131445A (en) Biological information measurement device, on-vehicle device, and biological information measurement system
CN109421733A (en) Driver condition grasps device, driver condition grasps system and method
JPH07117593A (en) Alarm device for vehicle
KR20150061943A (en) Device for detecting the status of the driver and method thereof
JP2017033125A (en) Safe driving promotion device and safe driving promotion method
JP2013149257A (en) Adaptive interface system
JP6786451B2 (en) Monitoring system
US20180297471A1 (en) Support to handle an object within a passenger interior of a vehicle
WO2021085371A1 (en) Driving assistance device, driving assistance method, and driving assistance program
JP5182567B2 (en) Crew monitoring device
WO2013065348A1 (en) Vehicle periphery monitoring apparatus
JP2017149273A (en) On-vehicle device, vehicle system and program
KR20140141285A (en) Device for Passenger tracking in a car

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200803

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200813

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201028

R150 Certificate of patent or registration of utility model

Ref document number: 6786451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250