JP2021105981A

JP2021105981A - Driver monitoring system and driver monitoring method

Info

Publication number: JP2021105981A
Application number: JP2020158593A
Authority: JP
Inventors: 芳澤　伸一; Shinichi Yoshizawa; 伸一芳澤
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2019-12-26
Filing date: 2020-09-23
Publication date: 2021-07-26

Abstract

To provide a driver monitoring system capable of inhibiting an unnecessary notification from being output.SOLUTION: A driver monitoring system 10 includes: a detection unit 11 that detects the posture of a driver sitting on a driver seat of a vehicle, using an image taken by an imaging device 21; a determination control unit 12 that determines, based on a situation concerning vehicle traveling acquired from the vehicle and the driver's posture detected by the detection unit 11, whether or not the collapse of the posture adversely affects the safety in vehicle traveling; and one or more notification units that give a notification concerning the collapse of the posture according to a result of the determination made by the determination control unit 12. When the result of the determination signifies that the collapse of the posture does not adversely affect the safety in vehicle traveling, the notification units do not give the notification concerning the collapse of the posture.SELECTED DRAWING: Figure 2

Description

本開示は、運転者監視装置及び運転者監視方法に関する。 The present disclosure relates to a driver monitoring device and a driver monitoring method.

カメラにより撮影された車両の運転席の画像に基づいて、運転者の姿勢崩れを検出する検出手段と、検出手段により検出された運転者の姿勢崩れが、運転者の癖による姿勢崩れか否か判定する判定手段と、判定手段により癖による姿勢崩れと判定された場合と、判定手段により癖以外の姿勢崩れと判定された場合とで、異なる態様により運転者に姿勢崩れに関する通知を行う通知手段とを備える運転者監視システムが開示されている。 Based on the image of the driver's seat of the vehicle taken by the camera, the detection means for detecting the posture collapse of the driver and whether the posture collapse of the driver detected by the detection means is the posture collapse due to the driver's habit. A notification means for notifying the driver of the posture collapse depending on the determination means, the case where the determination means determines the posture collapse due to the habit, and the case where the determination means determines the posture collapse other than the habit. A driver monitoring system with and is disclosed.

特許第６３０３９０７号公報Japanese Patent No. 6303907

しかしながら、運転者が車両を停車させて仮眠をとっている場合、運転者が車両を後退させる際に後方を確認する場合等、車両走行に支障がない姿勢崩れの場合においても、運転者が姿勢崩れを起こしていると判定されるため、通知手段は、運転者に注意喚起をしてしまうことがある。 However, even in the case of a posture collapse that does not hinder the vehicle running, such as when the driver stops the vehicle and takes a nap, or when the driver checks the rear when reversing the vehicle, the driver is in a posture. Since it is determined that the vehicle has collapsed, the notification means may alert the driver.

そこで、本開示は、不要な通知が出力されてしまうことを抑制することができる運転者監視装置及び運転者監視方法を提供することを目的とする。 Therefore, an object of the present disclosure is to provide a driver monitoring device and a driver monitoring method that can suppress the output of unnecessary notifications.

本開示の一態様に係る運転者監視装置は、撮像装置によって撮像された画像を用いて車両の運転席に搭乗する運転者の姿勢崩れを検出する検出部と、前記車両から取得する車両走行に関する状態と、前記検出部によって検出された運転者の姿勢崩れとに基づいて、前記姿勢崩れが前記車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定する判定部とを備え、前記判定部は、前記姿勢崩れが前記車両走行の安全性に支障がある場合の姿勢崩れであると判定した場合、前記車両に備えられた１以上の通知部に前記姿勢崩れに関する通知を行わせる。 The driver monitoring device according to one aspect of the present disclosure relates to a detection unit that detects a posture collapse of a driver in the driver's seat of a vehicle by using an image captured by the imaging device, and a vehicle running acquired from the vehicle. Based on the state and the posture collapse of the driver detected by the detection unit, a determination unit for determining whether or not the posture collapse is a posture collapse when the safety of the vehicle running is hindered. When the determination unit determines that the posture collapse is a posture collapse when the safety of the vehicle running is hindered, the determination unit notifies one or more notification units provided in the vehicle of the posture collapse. Let me do it.

なお、これらのうちの一部の具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ−ＲＯＭ等の記録媒体を用いて実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせを用いて実現されてもよい。 In addition, some specific aspects of these may be realized by using a recording medium such as a system, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM, and the system, the method, and the method. It may be realized using any combination of integrated circuits, computer programs and recording media.

本開示の運転者監視装置等によれば、不要な通知が出力されてしまうことを抑制することができる。 According to the driver monitoring device and the like of the present disclosure, it is possible to suppress the output of unnecessary notifications.

図１は、実施の形態における運転者監視システムを示すブロック図である。FIG. 1 is a block diagram showing a driver monitoring system according to an embodiment. 図２は、実施の形態における運転者監視装置の動作を示すフローチャートである。FIG. 2 is a flowchart showing the operation of the driver monitoring device according to the embodiment. 図３は、運転者の姿勢を示す模式図である。FIG. 3 is a schematic view showing the posture of the driver.

これによれば、車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定することによって、姿勢崩れに関する通知をしなくてもよい場合を判定することができる。車両走行に支障がある場合では、姿勢崩れに関する通知がされることで、姿勢を正そうとする誘因が働きやすくなるため、車両を運転する運転者の安全性を確保することができる。 According to this, it is possible to determine the case where it is not necessary to notify the posture collapse by determining whether or not the posture collapse occurs when the safety of vehicle running is hindered. When there is an obstacle to the running of the vehicle, the notification regarding the posture collapse makes it easier for the incentive to correct the posture to work, so that the safety of the driver who drives the vehicle can be ensured.

したがって、この運転者監視装置は、不要な通知がされてしまうこと抑制することができる。その結果、運転者は、姿勢崩れに関する通知による煩わしさを感じ難くなる。 Therefore, this driver monitoring device can prevent unnecessary notifications from being given. As a result, the driver is less likely to feel the annoyance of being notified of the posture collapse.

特に、運転者監視装置は、姿勢崩れに関する通知を出力することで、運転者の姿勢を正すように促すことができる。このため、運転者監視装置は、車両を運転する運転者の安全性を確保することができる。 In particular, the driver monitoring device can urge the driver to correct the posture by outputting a notification regarding the posture collapse. Therefore, the driver monitoring device can ensure the safety of the driver who drives the vehicle.

本開示の他の態様に係る運転者監視方法は、撮像された画像を用いて車両の運転席に搭乗する運転者の姿勢崩れを検出し、前記車両から取得する車両走行に関する状態と、検出された運転者の姿勢崩れとに基づいて、前記姿勢崩れが前記車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定し、前記車両走行の安全性に支障がある場合の姿勢崩れであると判定した場合に、前記姿勢崩れに関する通知をすることを含む。 The driver monitoring method according to another aspect of the present disclosure detects a posture collapse of a driver who is in the driver's seat of a vehicle by using an captured image, and detects a state related to vehicle driving acquired from the vehicle. Based on the driver's posture collapse, it is determined whether or not the posture collapse is a posture collapse when the vehicle running safety is hindered, and when the vehicle running safety is hindered. This includes notifying the person about the posture collapse when it is determined that the posture is collapsed.

この運転者監視方法においても、上述と同様の作用効果を奏する。 This driver monitoring method also has the same effect as described above.

本開示の他の態様に係る運転者監視装置において、前記判定部は、前記検出部が検出する姿勢崩れが、前記車両の運転開始直後から前記所定時間以上継続される場合、癖による姿勢崩れであると判定し、前記検出部が検出する姿勢崩れが、前記車両の運転開始直後よりも以降に、所定時間以上継続して姿勢崩れを検出している場合に、癖以外の姿勢崩れであると判定し、前記癖による姿勢崩れと判定した場合と、前記癖以外の姿勢崩れと判定した場合とで、前記通知部における前記姿勢崩れに関する通知の態様を異ならせる。 In the driver monitoring device according to another aspect of the present disclosure, when the posture collapse detected by the detection unit continues for the predetermined time or more immediately after the start of driving of the vehicle, the determination unit causes the posture collapse due to a habit. When it is determined that there is a posture collapse and the posture collapse detected by the detection unit is continuously detected for a predetermined time or longer after the start of driving of the vehicle, it is determined that the posture collapse is other than the habit. The mode of notification regarding the posture collapse in the notification unit is different between the case where the determination is made and the posture collapse is determined due to the habit and the case where the posture collapse other than the habit is determined.

これによれば、姿勢崩れが運転者の癖によるものであるか否かを判定することができる。この判定により、例えば、運転者の姿勢崩れが癖による姿勢崩れか癖以外の姿勢崩れかが判るようになる。このため、例えば、姿勢崩れが運転者の癖によるものであれば、癖を正すための提示を運転者に提供したり、姿勢崩れが運転者の癖以外であれば、運転者に注意喚起したりすることができる。また、車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定することによって、姿勢崩れに関する通知をしなくてもよい場合を判定することができる。これにより、前記車両走行に支障がない場合では、姿勢崩れに関する通知がされてしまうことを抑制することができる。 According to this, it is possible to determine whether or not the posture collapse is due to the driver's habit. From this determination, for example, it becomes possible to determine whether the driver's posture collapse is due to a habit or a posture collapse other than the habit. Therefore, for example, if the posture collapse is due to the driver's habit, the driver is provided with a presentation to correct the habit, and if the posture collapse is other than the driver's habit, the driver is alerted. Can be done. Further, by determining whether or not the posture is collapsed when the safety of vehicle running is hindered, it is possible to determine when it is not necessary to notify the posture collapse. As a result, if there is no hindrance to the vehicle running, it is possible to prevent the notification regarding the posture collapse from being given.

本開示の他の態様に係る運転者監視装置において、前記判定部は、姿勢崩れが前記癖以外の姿勢崩れである場合、前記車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定し、前記車両走行の安全性に支障がないと判定した場合、前記通知部に前記姿勢崩れに関する通知を行わせない。 In the driver monitoring device according to another aspect of the present disclosure, the determination unit determines whether or not the posture collapse is a posture collapse other than the habit, or a posture collapse when the safety of the vehicle running is hindered. If it is determined that there is no problem in the safety of the vehicle running, the notification unit is not notified of the posture collapse.

これによれば、運転者が車両走行の安全性に支障がある姿勢崩れを起こしていないとする判定部の判定結果である場合、通知部は、姿勢崩れに関する通知を行わない。このため、例えば、車両を停車させて仮眠をとっている場合、車両を後退させる際に後方を確認する場合、車両を路肩に停車させてスマートフォン等を操作する場合等の車両走行に支障がない場合では、姿勢崩れに関する通知がされない。 According to this, when the determination result of the determination unit that the driver has not caused the posture collapse that hinders the safety of vehicle running, the notification unit does not give the notification regarding the posture collapse. Therefore, for example, there is no hindrance to vehicle running when the vehicle is stopped and taking a nap, when the vehicle is retracted to check the rear, or when the vehicle is stopped on the shoulder and the smartphone or the like is operated. In some cases, no notification of posture collapse is given.

本開示の他の態様に係る運転者監視装置において、前記判定部は、前記車両が自動運転状態から手動運転状態に切り替わる時刻よりも前の所定時間内における癖以外の姿勢崩れを、安全性に支障がある場合の姿勢崩れであると判定する。 In the driver monitoring device according to another aspect of the present disclosure, the determination unit makes it possible to safely prevent a posture collapse other than a habit within a predetermined time before the time when the vehicle switches from the automatic driving state to the manual driving state. It is judged that the posture is lost when there is a problem.

これによれば、車両走行の安全性に支障がある姿勢崩れを検出することができる。 According to this, it is possible to detect a posture collapse that hinders the safety of vehicle running.

本開示の他の態様に係る運転者監視装置において、前記検出部は、前記運転者の姿勢崩れ量を検出し、前記判定部は、前記姿勢崩れ量の大きさに応じて、前記姿勢崩れに関する通知を行う前記通知部の数を変更する。 In the driver monitoring device according to another aspect of the present disclosure, the detection unit detects the amount of posture collapse of the driver, and the determination unit relates to the posture collapse according to the magnitude of the posture collapse amount. The number of the notification units to be notified is changed.

これによれば、姿勢崩れ量は運転時間に応じて変化するので、姿勢崩れに関する通知を運転者の状態に応じて変更することができる。 According to this, since the amount of posture collapse changes according to the driving time, the notification regarding the posture collapse can be changed according to the state of the driver.

本開示の他の態様に係る運転者監視装置において、前記判定部は、前記姿勢崩れ量が大きいほど、前記姿勢崩れに関する通知を行う前記通知部の数を増やす。 In the driver monitoring device according to another aspect of the present disclosure, the determination unit increases the number of the notification units for notifying the posture collapse as the amount of the posture collapse increases.

これによれば、例えば運転者の覚醒に時間がかかる状態と想定される場合に、覚醒を強く促すことが出来る。 According to this, for example, when it is assumed that it takes time for the driver to awaken, the awakening can be strongly promoted.

本開示の他の態様に係る運転者監視装置において、前記判定部は、前記姿勢崩れ量に基づいて、前記運転者の姿勢が改善したか否かを判定し、前記運転者の姿勢が改善したと判定した場合、前記通知部に前記姿勢崩れに関する通知を停止させる。 In the driver monitoring device according to another aspect of the present disclosure, the determination unit determines whether or not the posture of the driver has improved based on the amount of the posture collapse, and the posture of the driver has improved. If it is determined, the notification unit is stopped from notifying the posture collapse.

これによれば、運転者が姿勢を正した後、運転者が通知を煩わしく感じたり、意識が散漫になり車両周辺の確認がおろそかになったりすることを抑制することができる。 According to this, after the driver corrects his / her posture, it is possible to prevent the driver from feeling annoyed at the notification or distracting the driver and neglecting the confirmation around the vehicle.

本開示の他の態様に係る運転者監視装置において、前記判定部は、前記姿勢崩れ量が閾値以上となっている場合、所定時間よりも長い間運転者が目を閉じているか否かを判定し、所定時間よりも長い間運転者が目を閉じていると判定した場合、前記車両の運転を制御する車両制御装置に対して前記車両の運転を停止させる。 In the driver monitoring device according to another aspect of the present disclosure, the determination unit determines whether or not the driver has closed his eyes for a longer time than a predetermined time when the amount of posture collapse is equal to or greater than a threshold value. Then, when it is determined that the driver has closed his eyes for a longer time than a predetermined time, the vehicle control device that controls the operation of the vehicle stops the operation of the vehicle.

これによれば、車両が事故を起こす可能性を低くすることができ、車両を運転する運転者の安全性を確保することができる。 According to this, the possibility that the vehicle causes an accident can be reduced, and the safety of the driver who drives the vehicle can be ensured.

本開示の他の態様に係る運転者監視装置において、前記判定部は、前記車両制御装置に車両を停止させる場合に、前記１以上の通知部に周囲の車両に危険を知らせるための通知を行わせる。 In the driver monitoring device according to another aspect of the present disclosure, the determination unit notifies the one or more notification units of the danger to the surrounding vehicles when the vehicle control device stops the vehicle. Let me.

これによれば、周囲の車両に注意喚起することができ、周囲の車両の運転者に衝突事故を回避しようという誘因が働きやすくなる。このため、車両だけでなく周囲の車両の安全性を確保することができる。 According to this, it is possible to call attention to surrounding vehicles, and it becomes easy for the drivers of surrounding vehicles to act as an incentive to avoid a collision accident. Therefore, it is possible to ensure the safety of not only the vehicle but also the surrounding vehicles.

本開示の他の態様に係る運転者監視装置において、前記判定部は、前記車両制御装置に車両を停止させる場合に、前記１以上の通知部に前記車両の他の搭乗者に危険を知らせる通知を行わせる。 In the driver monitoring device according to another aspect of the present disclosure, when the vehicle control device stops the vehicle, the determination unit notifies the one or more notification units of the danger to other passengers of the vehicle. To do.

これによれば、車両を停止させる場合に、他の搭乗者に運転者および車両の運転状態に問題があることを通知することができる。これにより、他の搭乗者に安全を確保しようという誘因が働きやすくなる。 According to this, when the vehicle is stopped, it is possible to notify other passengers that there is a problem with the driver and the driving condition of the vehicle. This facilitates the incentive to ensure safety for other passengers.

本開示の他の態様に係る運転者監視装置において、前記１以上の通知部の少なくとも一部の通知部は、前記運転席に設けられるシートベルトを締め付ける第１駆動部であり、前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記第１駆動部が前記運転席に設けられるシートベルトを締め付けることによって行われる。 In the driver monitoring device according to another aspect of the present disclosure, at least a part of the notification units of the one or more notification units is a first drive unit for tightening a seat belt provided in the driver's seat, and is related to the posture collapse. When it is determined that the posture is lost when the safety of the vehicle traveling is hindered, the notification is given by the first drive unit tightening the seat belt provided in the driver's seat.

これによれば、運転者が脇見をした場合でも、第１駆動部は、シートベルトを締め付けるため、運転者に脇見をしていることを気付かせることができる。これにより、運転者には、脇見を正そうという誘因が働きやすくなる。このため、運転者監視装置では、車両を運転する運転者の安全性を確保することができる。 According to this, even when the driver looks aside, the first drive unit fastens the seat belt, so that the driver can notice that he is looking aside. This makes it easier for the driver to have an incentive to correct his inattentiveness. Therefore, the driver monitoring device can ensure the safety of the driver who drives the vehicle.

一方で、車両走行の安全性に支障がない場合には、シートベルトを締めつけない。これによれば、車両を後退させる際に後方を確認する場合に、運転者は後方を確認する姿勢を維持することができる。また、運転者が自動運転中のリラックス姿勢をとっている場合に、リラックス姿勢を維持することができる。 On the other hand, if the safety of vehicle running is not hindered, the seat belt is not fastened. According to this, when checking the rear when reversing the vehicle, the driver can maintain the posture of checking the rear. In addition, when the driver is in a relaxed posture during automatic driving, the relaxed posture can be maintained.

本開示の他の態様に係る運転者監視装置において、前記１以上の通知部の少なくとも一部の通知部は、前記運転席よりも前方に配置される音響部でもあり、前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記音響部が警告音を出力することによって行われる。 In the driver monitoring device according to another aspect of the present disclosure, at least a part of the notification units of the one or more notification units is also an acoustic unit arranged in front of the driver's seat, and the notification regarding the posture collapse is given. When it is determined that the posture is lost when the safety of the vehicle traveling is hindered, the sound unit outputs a warning sound.

これによれば、運転者の前方から音響部が警告音を発すれば、運転者は、音が発生した方向である車両の進行方向に向く。このため、運転者監視装置では、運転者に脇見をしていることを気付かせることができる。これにより、運転者には、脇見を正そうという誘因が働きやすくなる。このため、運転者監視装置では、車両を運転する運転者の安全性を確保することができる。 According to this, if the acoustic unit emits a warning sound from the front of the driver, the driver turns to the traveling direction of the vehicle, which is the direction in which the sound is generated. Therefore, the driver monitoring device can make the driver notice that he / she is looking aside. This makes it easier for the driver to have an incentive to correct his inattentiveness. Therefore, the driver monitoring device can ensure the safety of the driver who drives the vehicle.

一方で、車両走行の安全性に支障がない場合には、警告音を出力しない。これによって、例えば、車両を後退させる際などに、姿勢崩れに関する警告音によって運転者の意識が散漫になり車両周辺の確認がおろそかになることを防ぐことができる。 On the other hand, if there is no problem in the safety of vehicle driving, the warning sound is not output. As a result, for example, when the vehicle is retracted, it is possible to prevent the driver's consciousness from being distracted by the warning sound regarding the posture collapse and neglecting the confirmation around the vehicle.

本開示の他の態様に係る運転者監視装置において、前記音響部は、出力する前記警告音の音量を次第に上昇させる。 In the driver monitoring device according to another aspect of the present disclosure, the acoustic unit gradually raises the volume of the warning sound to be output.

これによれば、警告音の音量を上げることで、例えば運転者を覚醒させることができる。これにより、運転者は、姿勢を正して注意深く運転するようになる。 According to this, for example, the driver can be awakened by increasing the volume of the warning sound. As a result, the driver will be able to correct his / her posture and drive carefully.

一方で、車両走行の安全性に支障がない場合には、警告音を出力しない。これによって、例えば、運転者が車両を停車させて仮眠している場合に、睡眠を妨害されることを防ぐことができる。 On the other hand, if there is no problem in the safety of vehicle driving, the warning sound is not output. This makes it possible, for example, to prevent the driver from being disturbed when the vehicle is stopped and taking a nap.

本開示の他の態様に係る運転者監視装置において、前記１以上の通知部の少なくとも一部の通知部は、車室内を照明する照明装置でもあり、前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記照明装置が発する光を変化させることによって行われる。 In the driver monitoring device according to another aspect of the present disclosure, at least a part of the notification units of the one or more notification units is also a lighting device for illuminating the vehicle interior, and the notification regarding the posture collapse is the notification of the vehicle traveling. When it is determined that the posture is lost when the safety is hindered, it is performed by changing the light emitted by the lighting device.

これによれば、車室内の光を変化させることで、運転者に姿勢が悪いことを気付かせることができる。このため、例えば運転者を覚醒させることができ、運転者は、姿勢を正して注意深く運転するようになる。 According to this, by changing the light in the vehicle interior, it is possible to make the driver notice that the posture is bad. Therefore, for example, the driver can be awakened, and the driver will correct his / her posture and drive carefully.

一方で、車両走行の安全性に支障がない場合には、車室内の光を変化させない。これによって、例えば、運転者は車両を停車させて仮眠している場合に、睡眠を妨害されることを抑制することができる。 On the other hand, if there is no problem in the safety of vehicle running, the light in the vehicle interior is not changed. This makes it possible, for example, to prevent the driver from being disturbed when the vehicle is stopped and taking a nap.

本開示の他の態様に係る運転者監視装置において、前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記照明装置が発する光の色調を赤くすることによって行われる。 In the driver monitoring device according to another aspect of the present disclosure, when it is determined that the notification regarding the posture collapse is a posture collapse when the safety of the vehicle running is hindered, the light emitted by the lighting device is emitted. It is done by making the color tone of.

これによれば、車室内が赤くなることで、運転者に危機感を与えることができる。このため、運転者は、姿勢を正して注意深く運転するようになる。 According to this, it is possible to give the driver a sense of crisis by turning the interior of the vehicle red. For this reason, the driver will be able to correct his / her posture and drive carefully.

本開示の他の態様に係る運転者監視装置において、前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記照明装置が発する光の明るさを、さらに明るくすることによって行われる。 In the driver monitoring device according to another aspect of the present disclosure, when it is determined that the notification regarding the posture collapse is a posture collapse when the safety of the vehicle running is hindered, the light emitted by the lighting device is emitted. It is done by making the brightness of.

これによれば、車室内を明るくすることで、例えば運転者を覚醒させることができる。このため、運転者は、姿勢を正して注意深く運転するようになる。 According to this, for example, the driver can be awakened by brightening the interior of the vehicle. For this reason, the driver will be able to correct his / her posture and drive carefully.

本開示の他の態様に係る運転者監視装置において、前記１以上の通知部の少なくとも一部の通知部は、車室内を空気調和する空調装置でもあり、前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記空調装置が車室内の温度を下げる及び運転者に風を当てることの少なくとも一方である。 In the driver monitoring device according to another aspect of the present disclosure, at least a part of the notification units of the one or more notification units is also an air conditioner for air-conditioning the vehicle interior, and the notification regarding the posture collapse is the vehicle traveling. When it is determined that the vehicle is out of posture when the safety of the vehicle is impaired, the air conditioner lowers the temperature in the vehicle interior and blows the driver at least one of them.

これによれば、車室内の温度を下げたり、運転者に風を当てたりすることで、例えば運転者を覚醒させることができる。このため、運転者は、姿勢を正して注意深く運転するようになる。 According to this, for example, the driver can be awakened by lowering the temperature in the vehicle interior or blowing the wind on the driver. For this reason, the driver will be able to correct his / her posture and drive carefully.

本開示の他の態様に係る運転者監視装置において、前記１以上の通知部の少なくとも一部の通知部は、前記運転席のハンドルを振動させる第２駆動部でもあり、前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記第２駆動部による前記運転席のハンドルを振動させることによって行われる。 In the driver monitoring device according to another aspect of the present disclosure, at least a part of the notification units of the one or more notification units is also a second drive unit that vibrates the steering wheel of the driver's seat, and the notification regarding the posture collapse is given. When it is determined that the posture collapses when the safety of the vehicle running is hindered, the posture is changed by vibrating the steering wheel of the driver's seat by the second drive unit.

これによれば、ハンドルを震わせることで、運転者に脇見をしていることを気付かせることができる。このため、例えば運転者を覚醒させることができる。また、例えば、運転者に脇見状態を気づかせることができる。その結果、運転者は、姿勢を正して注意深く運転するようになる。 According to this, by shaking the steering wheel, it is possible to make the driver notice that he is looking aside. Therefore, for example, the driver can be awakened. Further, for example, the driver can be made aware of the inattentive state. As a result, the driver will be able to correct his / her posture and drive carefully.

本開示の他の態様に係る運転者監視装置において、前記１以上の通知部の少なくとも一部の通知部は、前記運転者に情報を提示可能な表示部でもあり、前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記車両走行の安全性に支障があることを示す内容を表示することによって行われる。 In the driver monitoring device according to another aspect of the present disclosure, at least a part of the notification units of the one or more notification units is also a display unit capable of presenting information to the driver, and the notification regarding the posture collapse is provided. When it is determined that the posture is lost when the safety of the vehicle running is hindered, the content indicating that the safety of the vehicle running is hindered is displayed.

これによれば、表示部に姿勢崩れであることを示す内容を表示することで、例えば、運転者に注意喚起を行うことができる。このため、運転者は、姿勢を正して注意深く運転するようになる。 According to this, it is possible to alert the driver, for example, by displaying the content indicating that the posture is lost on the display unit. For this reason, the driver will be able to correct his / her posture and drive carefully.

以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。 Each of the embodiments described below is a specific example of the present disclosure. The numerical values, shapes, materials, components, arrangement positions of the components, etc. shown in the following embodiments are examples, and are not intended to limit the present disclosure. Further, among the components in the following embodiments, the components not described in the independent claims will be described as arbitrary components. Moreover, in all the embodiments, each content can be combined.

以下、本開示の一態様に係る運転者監視装置及び運転者監視方法について、図面を参照しながら具体的に説明する。 Hereinafter, the driver monitoring device and the driver monitoring method according to one aspect of the present disclosure will be specifically described with reference to the drawings.

（実施の形態）
＜構成：運転者監視システム１＞
図１は、実施の形態における運転者監視システム１を示すブロック図である。 (Embodiment)
<Configuration: Driver monitoring system 1>
FIG. 1 is a block diagram showing a driver monitoring system 1 according to an embodiment.

本実施の形態１における運転者監視システム１は、運転者監視装置１０、撮像装置２１、車両センサ３１、車両制御装置３２、音響部２２、照明装置２３、第１駆動部２４、第２駆動部２５、空調装置２６、表示部２７を備える。 The driver monitoring system 1 in the first embodiment includes a driver monitoring device 10, an imaging device 21, a vehicle sensor 31, a vehicle control device 32, an acoustic unit 22, a lighting device 23, a first drive unit 24, and a second drive unit. 25, an air conditioner 26, and a display unit 27 are provided.

運転者監視システム１は、例えば車両走行に関する状態に応じて、運転者が脇見運転、居眠り運転等の危険な状態にあるか否かを判定して、危険な状態にある場合に運転者に警告等を行う。 The driver monitoring system 1 determines whether or not the driver is in a dangerous state such as inattentive driving or dozing driving according to, for example, a state related to vehicle driving, and warns the driver if the driver is in a dangerous state. And so on.

運転者監視装置１０は、車両走行に関する状態を認識するために、車両センサ３１から車両情報を取得する。運転者監視装置１０には、車両センサ３１が通信可能に接続される。 The driver monitoring device 10 acquires vehicle information from the vehicle sensor 31 in order to recognize a state related to vehicle traveling. A vehicle sensor 31 is communicably connected to the driver monitoring device 10.

車両センサ３１は、車両の周囲及び車両の状態をセンシングすることで車両情報を生成する。車両センサ３１は、生成した車両情報を運転者監視装置１０に出力する。車両情報は、車両走行に関する状態を示す情報である。車両走行に関する状態は、車両の走行速度、シフトレバーの位置、操舵角、停車、自動運転状態、手動運転状態等である。シフトレバーの位置は、車両が通常の走行をするドライビングの位置、アイドリング状態の位置、駐車状態の位置、車両の後進状態の位置である。 The vehicle sensor 31 generates vehicle information by sensing the surroundings of the vehicle and the state of the vehicle. The vehicle sensor 31 outputs the generated vehicle information to the driver monitoring device 10. Vehicle information is information indicating a state related to vehicle running. The states related to vehicle running are the running speed of the vehicle, the position of the shift lever, the steering angle, the stop, the automatic driving state, the manual driving state, and the like. The position of the shift lever is a driving position in which the vehicle normally travels, an idling position, a parked position, and a reverse vehicle position.

また、運転者監視装置１０は、車両の走行を制御するための車両制御装置３２と通信可能に接続される。 Further, the driver monitoring device 10 is communicably connected to the vehicle control device 32 for controlling the traveling of the vehicle.

車両制御装置３２は、車載ネットワークに接続される。車両制御装置３２は、アクセル、ブレーキ、ステアリング等に対する運転者による操作を電気的な制御信号に変換し、車載ネットワークを介して動力制御部、操舵制御部又は制動制御部等に出力する。動力制御部、操舵制御部又は制動制御部等は、受信した制御信号に基づき該当するアクチュエータを制御することで、車両の走行、停止等を制御する。 The vehicle control device 32 is connected to the vehicle-mounted network. The vehicle control device 32 converts the driver's operation on the accelerator, brake, steering, etc. into an electric control signal, and outputs the operation to the power control unit, the steering control unit, the braking control unit, or the like via the vehicle-mounted network. The power control unit, steering control unit, braking control unit, etc. control the running, stopping, etc. of the vehicle by controlling the corresponding actuator based on the received control signal.

＜撮像装置２１＞
撮像装置２１は、車両の運転席に搭乗する運転者を撮像する。撮像装置２１は、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）カメラであり、近赤外領域で高い感度特性を有する。撮像装置２１は、運転席のヘッドレスト周辺を撮影する。撮像装置２１は、撮像した運転者等を含む画像を運転者監視装置１０に出力する。 <Image pickup device 21>
The image pickup device 21 takes an image of the driver who is in the driver's seat of the vehicle. The image pickup apparatus 21 is, for example, a CCD (Charge Coupled Device) camera and has a high sensitivity characteristic in the near infrared region. The image pickup device 21 photographs the vicinity of the headrest of the driver's seat. The image pickup device 21 outputs an image including the captured driver and the like to the driver monitoring device 10.

＜運転者監視装置１０＞
運転者監視装置１０は、運転者の状態を監視することで、運転者に対して注意喚起を行う。運転者監視装置１０は、例えば、プロセッサ（マイクロプロセッサ）、メモリ等のデジタル回路、アナログ回路、通信回路等を含むＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）等で構成される。運転者監視装置１０は、撮像装置２１、音響部２２、照明装置２３、第１駆動部２４、第２駆動部２５、空調装置２６、表示部２７、車両センサ３１、及び、車両制御装置３２と通信可能に接続される。また、本実施の形態の運転者監視装置１０は、姿勢崩れに関する通知を行う１以上の通知部の一例である、音響部２２、照明装置２３、第１駆動部２４、第２駆動部２５、空調装置２６、及び、表示部２７を制御可能である。 <Driver monitoring device 10>
The driver monitoring device 10 alerts the driver by monitoring the state of the driver. The driver monitoring device 10 is composed of, for example, an ECU (Electronic Control Unit) including a processor (microprocessor), a digital circuit such as a memory, an analog circuit, a communication circuit, and the like. The driver monitoring device 10 includes an image pickup device 21, an acoustic unit 22, a lighting device 23, a first drive unit 24, a second drive unit 25, an air conditioner 26, a display unit 27, a vehicle sensor 31, and a vehicle control device 32. Connected to be communicable. Further, the driver monitoring device 10 of the present embodiment is an example of one or more notification units for notifying the posture collapse, the acoustic unit 22, the lighting device 23, the first drive unit 24, the second drive unit 25, and the like. The air conditioner 26 and the display unit 27 can be controlled.

運転者監視装置１０は、検出部１１と、判定制御部１２と、計時部１３とを有する。 The driver monitoring device 10 includes a detection unit 11, a determination control unit 12, and a timekeeping unit 13.

検出部１１は、撮像装置２１によって撮像された画像を用いて車両の運転席に搭乗する運転者の姿勢崩れを検出する。姿勢崩れは、運転者が運転席に正常な姿勢で着座している状態から、身体を動かすことによる歪みが生じた姿勢であり、姿勢の悪い状態である。例えば、脇見、余所見等の不注意の状態も含む。具体的には、検出部１１は、撮像装置２１により撮影された画像を認識し、運転者の姿勢崩れ量を算出する。姿勢崩れ量は、歪みが生じている姿勢の量又は度合いであり、検出部１１は、姿勢崩れ量が閾値以上であれば、運転者に姿勢崩れが発生していることを検出する。検出部１１は、姿勢崩れ量に基づいて運転者の姿勢崩れを検出した場合、姿勢崩れが検知された時間情報を計時部１３から取得し、取得した時間情報を検出した姿勢崩れを示す情報とともに、判定制御部１２に出力する。姿勢崩れを示す情報には、姿勢崩れ量も含まれる。 The detection unit 11 detects the posture collapse of the driver who is in the driver's seat of the vehicle by using the image captured by the image pickup device 21. Posture collapse is a posture in which the driver is distorted by moving his / her body from a state in which he / she is seated in the driver's seat in a normal posture, and is a state of poor posture. For example, it also includes inadvertent states such as inattentiveness and extraordinary findings. Specifically, the detection unit 11 recognizes the image taken by the image pickup device 21 and calculates the amount of posture collapse of the driver. The posture collapse amount is the amount or degree of the posture in which the distortion is occurring, and the detection unit 11 detects that the posture collapse has occurred in the driver if the posture collapse amount is equal to or more than the threshold value. When the detection unit 11 detects the posture collapse of the driver based on the amount of the posture collapse, the detection unit 11 acquires the time information in which the posture collapse is detected from the time measuring unit 13, and together with the information indicating the detected posture collapse, the acquired time information is acquired. , Is output to the determination control unit 12. The information indicating the posture collapse includes the amount of the posture collapse.

なお、検出部１１は、例えば、運転席のヘッドレストの中心を基準点とし、基準点と運転者の顔中心との距離によって姿勢崩れ量を算出してもよい。また、検出部１１は、運転者が運転席に正しい姿勢で着座した場合の身体部位の各部分の位置をそれぞれ基準点として登録し、それぞれの基準点と画像とから認識したズレ量（距離）によって姿勢崩れ量を算出してもよい。 The detection unit 11 may calculate the amount of posture collapse based on the distance between the reference point and the center of the driver's face, for example, with the center of the headrest of the driver's seat as the reference point. Further, the detection unit 11 registers the positions of each part of the body part when the driver sits in the driver's seat in the correct posture as reference points, and the amount of deviation (distance) recognized from each reference point and the image. The amount of posture collapse may be calculated according to.

なお、検出部１１は、運転者の頭部の位置が規定位置からどれだけ離れたかを判定し、離れた距離が規定距離以上となる時間が所定時間以上継続すれば、運転者が姿勢崩れを起こしていると判定してもよい。規定位置は、運転席のヘッドレストの中心としてもよい。この場合、検出部１１は、規定位置と運転者の顔中心との距離によって姿勢崩れ量を算出してもよい。 The detection unit 11 determines how far the position of the driver's head is from the specified position, and if the distance is longer than the specified distance for a predetermined time or longer, the driver loses his / her posture. It may be determined that it is awake. The specified position may be the center of the headrest of the driver's seat. In this case, the detection unit 11 may calculate the amount of posture collapse based on the distance between the specified position and the center of the driver's face.

また、規定位置は、エアバッグが正しい効果を発揮できる位置としてもよい。この場合、運転者の頭部がエアバッグの展開領域から外れていると、衝突時にエアバッグが正しい効果を発揮できない。また、エアバッグと運転者の頭部との距離が近すぎると、エアバッグが展開したときに運転者の頭部は強い衝撃を受けることになり、衝突時にエアバッグが正しい効果を発揮できない。このため、規定位置は、エアバッグの位置及び大きさに応じて設定してもよい。 Further, the specified position may be a position where the airbag can exert a correct effect. In this case, if the driver's head is out of the deployment area of the airbag, the airbag cannot exert the correct effect in the event of a collision. Further, if the distance between the airbag and the driver's head is too close, the driver's head receives a strong impact when the airbag is deployed, and the airbag cannot exert the correct effect in the event of a collision. Therefore, the specified position may be set according to the position and size of the airbag.

また、検出部１１は、運転者が運転席に正しい姿勢で着座した場合の身体部位の各部分の位置をそれぞれ基準点として登録し、それぞれの基準点と画像とから認識したズレ量（距離）によって姿勢崩れ量を算出してもよい。 Further, the detection unit 11 registers the positions of each part of the body part when the driver sits in the driver's seat in the correct posture as reference points, and the amount of deviation (distance) recognized from each reference point and the image. The amount of posture collapse may be calculated according to.

また、検出部１１は、運転者席に備え付けられた座圧センサを用いて、運転席の着座面に作用している圧力の分布から姿勢崩れを検出してもよい。 Further, the detection unit 11 may detect the posture collapse from the distribution of the pressure acting on the seating surface of the driver's seat by using the seat pressure sensor provided in the driver's seat.

判定制御部１２は、車両から取得する車両走行に関する状態と、検出部１１によって検出された運転者の姿勢崩れとに基づいて、運転者が車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定する。判定制御部１２は、車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定する判定部の一例である。 The determination control unit 12 determines the posture collapse when the driver interferes with the safety of vehicle driving based on the state related to the vehicle driving acquired from the vehicle and the posture collapse of the driver detected by the detection unit 11. Determine if it exists. The determination control unit 12 is an example of a determination unit that determines whether or not the posture is lost when the safety of vehicle running is hindered.

姿勢崩れは、癖による姿勢崩れと、癖以外の姿勢崩れとがある。姿勢崩れのうちの癖による姿勢崩れの場合、運転開始直後から継続して姿勢崩れ量が閾値よりも大きくなる傾向にある。例えば、運転席の位置を前方に移動して少し前のめりになった姿勢で運転する場合、運転席の位置を後方に移動して少し後ろのめりになった姿勢で運転する場合等である。 Posture collapse includes posture collapse due to habit and posture collapse other than habit. In the case of posture collapse due to the habit of posture collapse, the amount of posture collapse tends to be larger than the threshold value continuously immediately after the start of operation. For example, there is a case where the driver's seat position is moved forward and the driver is driven in a slightly forward leaning posture, a case where the driver's seat position is moved backward and the driver is driven in a slightly backward leaning posture, and the like.

また、姿勢崩れのうちの癖以外の姿勢崩れには、疲労及び注意力散漫等による姿勢崩れ、運転に伴う姿勢崩れ、その他の理由による姿勢崩れがある。 In addition, posture collapses other than habits among posture collapses include posture collapses due to fatigue and distraction, posture collapses due to driving, and posture collapses due to other reasons.

疲労等による姿勢崩れは、例えば長時間の着座によって疲労が蓄積したことで発生する。疲労及び注意力散漫等による姿勢崩れ量は、運転開始直後は小さいが、運転時間の経過に伴い大きくなり、閾値よりも大きくなった後に継続して閾値よりも大きくなる傾向にある。 Posture collapse due to fatigue or the like occurs, for example, due to the accumulation of fatigue caused by sitting for a long time. The amount of posture collapse due to fatigue, distraction, etc. is small immediately after the start of operation, but increases with the passage of operation time, and tends to increase beyond the threshold and then continuously increase above the threshold.

運転に伴う姿勢崩れは、一時的な姿勢崩れであり、例えば、車両を後退させる際に後方を確認する場合、交差点で左右を確認する場合、駐車場から道路に進入する際に停車して左右を確認する場合等である。運転に伴う姿勢崩れ量は、一時的に姿勢崩れ量が閾値よりも大きくなるが、姿勢崩れ量が元に戻る傾向にある。 The posture collapse due to driving is a temporary posture collapse. For example, when checking the rear when reversing the vehicle, when checking the left and right at an intersection, when entering the road from the parking lot, the vehicle stops and left and right. For example, when confirming. As for the amount of posture collapse due to driving, the amount of posture collapse temporarily becomes larger than the threshold value, but the amount of posture collapse tends to return to the original amount.

その他の理由による姿勢崩れは、エンジンもしくはＡＣＣ（アクセサリーポジション）をＯＮにした状態で車両を停車させて仮眠をとる場合、車両を路肩に停車させてスマートフォン等を操作する場合、自動運転中にリラックスした姿勢となる場合等である。その他の理由による姿勢崩れ量は、長時間に渡って閾値よりも大きくなる傾向にある。 Posture collapse due to other reasons can be relaxed during automatic driving when the vehicle is stopped with the engine or ACC (accessory position) turned on to take a nap, when the vehicle is stopped on the shoulder and the smartphone is operated. This is the case when the vehicle is in a good posture. The amount of posture collapse due to other reasons tends to be larger than the threshold value over a long period of time.

判定制御部１２は、検出部１１が検出する姿勢崩れが所定時間以上継続される場合、車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定し、判定結果としての姿勢崩れが車両走行の安全性に支障がある場合の姿勢崩れと判定した場合は、車両に備えられた１以上の通知部に姿勢崩れに関する通知を行わせる。具体的には、判定制御部１２は、所定時間以上継続して姿勢崩れ量が閾値よりも大きくなる場合、姿勢崩れであると判定する。さらに、判定制御部１２は、姿勢崩れが運転開始直後から所定時間以上継続して姿勢崩れ量が閾値よりも大きくなる場合、癖による姿勢崩れであると判定する。また、判定制御部１２は、検出部１１が検出する姿勢崩れが、車両の運転開始直後よりも以降に、所定時間以上継続して姿勢崩れを検出している場合、癖以外の姿勢崩れであると判定する。判定制御部１２は、このような判定結果に応じて１以上の通知部に姿勢崩れに関する通知を行わせる。例えば、癖による姿勢崩れでは、１つの通知部（例えば、音響部２２又は表示部２７）を介して通知させてもよい。また、癖以外の姿勢崩れであり、安全性に支障のある姿勢崩れでは、複数の通知部（例えば、音響部２２及び表示部２７）を介して通知させてもよい。つまり、姿勢崩れに関する通知は、車両走行の安全性に支障があることを示す内容を表示することである。このように、判定制御部１２は、判定制御部１２で制御されることで、癖による姿勢崩れと判定した場合と、癖以外の姿勢崩れと判定した場合とで、通知部における姿勢崩れに関する通知の態様を異ならせる。 The determination control unit 12 determines whether or not the posture collapse detected by the detection unit 11 is a posture collapse when the posture collapse is continued for a predetermined time or more and the safety of vehicle running is hindered, and the posture as a determination result. When it is determined that the collapse is a posture collapse when the safety of the vehicle running is hindered, one or more notification units provided in the vehicle are made to notify the posture collapse. Specifically, the determination control unit 12 determines that the posture collapses when the posture collapse amount becomes larger than the threshold value continuously for a predetermined time or longer. Further, the determination control unit 12 determines that the posture collapse is due to a habit when the posture collapse continues for a predetermined time or more immediately after the start of operation and the posture collapse amount becomes larger than the threshold value. Further, when the posture collapse detected by the detection unit 11 is continuously detected for a predetermined time or more after the start of operation of the vehicle, the determination control unit 12 is a posture collapse other than the habit. Is determined. The determination control unit 12 causes one or more notification units to notify the posture collapse according to such a determination result. For example, in the case of posture collapse due to a habit, notification may be made via one notification unit (for example, acoustic unit 22 or display unit 27). Further, in the case of a posture collapse other than the habit, which interferes with safety, notification may be made via a plurality of notification units (for example, the sound unit 22 and the display unit 27). That is, the notification regarding the posture collapse is to display the content indicating that the safety of vehicle running is hindered. In this way, the determination control unit 12 is controlled by the determination control unit 12, and there are cases where it is determined that the posture is collapsed due to a habit and cases where it is determined that the posture is collapsed other than the habit. The mode of is different.

車両走行の安全性に支障がある場合の姿勢崩れとは、少なくとも手動運転時の車両が時速１０ｋｍ以上で直進（前進）している場合における、脇見、覚醒レベルの低下、疲労及び注意力散漫等による、癖以外の姿勢崩れであり、自動運転時の自動運転状態から手動運転状態に切り替わる時刻から前の所定時間内における癖以外の姿勢崩れである。 Posture collapse when there is an obstacle to the safety of vehicle driving means inattentiveness, decreased arousal level, fatigue, distraction, etc., at least when the vehicle is moving straight (forward) at a speed of 10 km / h or more during manual driving. This is a posture collapse other than the habit, and is a posture collapse other than the habit within a predetermined time before the time when the automatic operation state at the time of automatic operation is switched to the manual operation state.

一方で、車両走行の安全性に支障がない場合の姿勢崩れとは、車両を後退させる際に後方を確認する場合、交差点で停車して左右を確認する場合、駐車場から道路に進入する際に停車して左右を確認する場合、車両を停車させて仮眠をとる場合、車両を路肩に停車させてスマートフォン等を操作する場合、自動運転中にリラックスした姿勢となる場合等の姿勢崩れである。 On the other hand, when the vehicle does not interfere with the safety of driving, the posture collapse means when checking the rear when reversing the vehicle, when stopping at an intersection and checking left and right, or when entering the road from the parking lot. When you stop at the vehicle and check the left and right, when you stop the vehicle and take a nap, when you stop the vehicle on the shoulder and operate a smartphone, etc., when you are in a relaxed posture during automatic driving, etc. ..

また、判定制御部１２は、癖以外の姿勢崩れでも、車両走行の安全性に支障のない場合の姿勢崩れであると判定すると、１以上の通知部を介して、姿勢崩れに関する通知を行わせない。また、判定制御部１２は、検出部１１が検出する姿勢崩れが所定時間未満である場合も、姿勢崩れに関する通知を行わない。 Further, when the determination control unit 12 determines that the posture collapse does not hinder the safety of vehicle running even if the posture collapse is other than the habit, the determination control unit 12 notifies the posture collapse via one or more notification units. do not have. Further, the determination control unit 12 does not notify the posture collapse even if the posture collapse detected by the detection unit 11 is less than a predetermined time.

なお、判定制御部１２は、姿勢崩れ量の大きさに応じて、通知部を制御する数を変更させてもよい。つまり、判定制御部１２は、姿勢崩れ量の大きさに応じて、通知数を変更してもよい。判定制御部１２は、姿勢崩れ量が大きくなればなるほど、通知部を制御する数を増やしてもよい。 The determination control unit 12 may change the number of notification units to be controlled according to the magnitude of the posture collapse amount. That is, the determination control unit 12 may change the number of notifications according to the magnitude of the amount of posture collapse. The number of the determination control units 12 that control the notification units may be increased as the amount of posture collapse increases.

計時部１３は、検出部１１の姿勢崩れの検知にしたがって、運転者の姿勢崩れの時間を計測する。計時部１３は、計測した姿勢崩れの時間を示す時間情報を、検出部１１を介して判定制御部１２に出力する。 The timekeeping unit 13 measures the time of the driver's posture collapse according to the detection of the posture collapse of the detection unit 11. The timekeeping unit 13 outputs the time information indicating the measured time of the posture collapse to the determination control unit 12 via the detection unit 11.

＜音響部２２＞
音響部２２は、警告音を出力する車載スピーカである。音響部２２は、警告音が発生した方向を向くように、運転者に向けて警告音を出力する。つまり、音響部２２は、運転席よりも前方に配置される。音響部２２は、１以上の通知部の少なくとも一部の通知部である。 <Sound unit 22>
The sound unit 22 is an in-vehicle speaker that outputs a warning sound. The sound unit 22 outputs a warning sound to the driver so as to face the direction in which the warning sound is generated. That is, the acoustic unit 22 is arranged in front of the driver's seat. The acoustic unit 22 is at least a part of the notification units of one or more notification units.

音響部２２は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定した判定結果に応じて、姿勢崩れに関する通知を行う。また、車両走行の安全性に支障がある場合の姿勢崩れである場合、音響部２２は、運転者監視装置１０の指示によって制御されることで、警告音を出力する。姿勢崩れに関する通知は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れを判定した場合、音響部２２が警告音を出力することによって行われる。 The sound unit 22 notifies the posture collapse according to the determination result of the determination control unit 12 determining whether or not the posture collapse occurs when the safety of vehicle running is hindered. Further, in the case of a posture collapse when the safety of vehicle traveling is hindered, the acoustic unit 22 outputs a warning sound by being controlled by the instruction of the driver monitoring device 10. When the determination control unit 12 determines the posture collapse when the safety of vehicle running is hindered, the sound unit 22 outputs a warning sound to notify the posture collapse.

この場合、音響部２２は、警告音の音量を次第に上昇させたりする。例えば、音響部２２は、運転者監視装置１０の指示によって制御されることで、警告音の音量を次第に上昇させたりする。 In this case, the acoustic unit 22 gradually raises the volume of the warning sound. For example, the acoustic unit 22 gradually raises the volume of the warning sound by being controlled by the instruction of the driver monitoring device 10.

また、音響部２２は、判定制御部１２が車両走行の安全性に支障のない場合の姿勢崩れであると判定したとき、姿勢崩れに関する通知を行わない。この場合、音響部２２は、通知として警告音を出力しない。 Further, when the determination control unit 12 determines that the posture collapse occurs when the safety of vehicle running is not hindered, the acoustic unit 22 does not notify the posture collapse. In this case, the acoustic unit 22 does not output a warning sound as a notification.

＜照明装置２３＞
照明装置２３は、車室内を照明することが可能な車載用照明装置２３である。照明装置２３は、例えば、車室内全体を照明することが可能なように車両の車室内に配置されていてもよく、前照灯等のように車室外に配置されていてもよい。なお、照明装置２３は、運転席に着座する運転者に向けて光を照射するように配置されていてもよい。照明装置２３は、１以上の通知部の少なくとも一部の通知部である。 <Lighting device 23>
The lighting device 23 is an in-vehicle lighting device 23 capable of illuminating the interior of the vehicle. The lighting device 23 may be arranged inside the vehicle interior so that the entire vehicle interior can be illuminated, or may be arranged outside the vehicle interior such as a headlight or the like. The lighting device 23 may be arranged so as to irradiate light toward the driver seated in the driver's seat. The lighting device 23 is at least a part of the notification units of one or more notification units.

照明装置２３は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定した判定結果に応じて、姿勢崩れに関する通知を行う。車両走行の安全性に支障がある場合の姿勢崩れである場合、照明装置２３は、運転者監視装置１０の指示によって制御されることで、発する光を変化させる。姿勢崩れに関する通知は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れを判定した場合、照明装置２３が発する光を変化させることによって行われる。照明装置２３が発する光の変化とは、照明装置２３が発する光の色調の変化、照明装置２３が発する光の明るさの変化である。本実施の形態では、照明装置２３が発する光の色調を赤くする。また、本実施の形態では、照明装置２３が発する光の明るさを、さらに明るくする。 The lighting device 23 notifies the posture collapse according to the determination result of the determination control unit 12 determining whether or not the posture collapse occurs when the safety of vehicle running is hindered. In the case of a posture collapse when the safety of vehicle traveling is hindered, the lighting device 23 changes the emitted light by being controlled by the instruction of the driver monitoring device 10. The notification regarding the posture collapse is performed by changing the light emitted by the lighting device 23 when the determination control unit 12 determines the posture collapse when the safety of vehicle traveling is hindered. The change in the light emitted by the illuminating device 23 is a change in the color tone of the light emitted by the illuminating device 23 and a change in the brightness of the light emitted by the illuminating device 23. In the present embodiment, the color tone of the light emitted by the lighting device 23 is red. Further, in the present embodiment, the brightness of the light emitted by the lighting device 23 is further increased.

照明装置２３は、判定制御部１２が車両走行の安全性に支障のない場合の姿勢崩れであると判定したとき、姿勢崩れに関する通知を行わない。この場合、照明装置２３は、通知として光を変化させない。 When the determination control unit 12 determines that the posture collapse occurs when the safety of vehicle running is not hindered, the lighting device 23 does not notify the posture collapse. In this case, the lighting device 23 does not change the light as a notification.

＜第１駆動部２４＞
第１駆動部２４は、運転席に設けられるシートベルトを締め付けることが可能なアクチュエータである。第１駆動部２４は、１以上の通知部の少なくとも一部の通知部である。 <1st drive unit 24>
The first drive unit 24 is an actuator capable of tightening a seat belt provided in the driver's seat. The first driving unit 24 is at least a part of one or more notification units.

第１駆動部２４は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定した判定結果に応じて、姿勢崩れに関する通知を行う。車両走行の安全性に支障がある場合の姿勢崩れである場合、第１駆動部２４は、運転者監視装置１０の指示によって制御されることで、運転席に設けられるシートベルトを締め付けるように駆動する。姿勢崩れに関する通知は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れであると判定した場合に、第１駆動部２４が運転席に設けられるシートベルトを締め付けることによって行われる。第１駆動部２４は、運転席に着座してシートベルトを締めている運転者に対して、シートベルトをさらに締め付けることで、運転者に脇見、よそ見を気付かせる。 The first drive unit 24 notifies the posture collapse according to the determination result of the determination control unit 12 determining whether or not the posture collapse occurs when the safety of vehicle running is hindered. In the case of a posture collapse when the safety of vehicle running is hindered, the first drive unit 24 is controlled by the instruction of the driver monitoring device 10 to drive the seat belt provided in the driver's seat to be fastened. do. The notification regarding the posture collapse is given by the first drive unit 24 tightening the seat belt provided in the driver's seat when the determination control unit 12 determines that the posture collapse occurs when the safety of vehicle running is hindered. Be told. The first drive unit 24 makes the driver, who is seated in the driver's seat and fastens the seatbelt, notice the driver looking aside and looking away by further tightening the seatbelt.

第１駆動部２４は、判定制御部１２が車両走行の安全性に支障のない場合の姿勢崩れであると判定したとき、姿勢崩れに関する通知を行わない。この場合、第１駆動部２４は、シートベルトを駆動させない。 When the determination control unit 12 determines that the posture collapse occurs when the safety of vehicle running is not hindered, the first drive unit 24 does not notify the posture collapse. In this case, the first drive unit 24 does not drive the seat belt.

＜第２駆動部２５＞
第２駆動部２５は、運転席のハンドルを振動させることが可能なアクチュエータである。第２駆動部２５は、１以上の通知部の少なくとも一部の通知部である。 <Second drive unit 25>
The second drive unit 25 is an actuator capable of vibrating the steering wheel of the driver's seat. The second drive unit 25 is at least a part of the notification units of one or more notification units.

第２駆動部２５は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定した判定結果に応じて、姿勢崩れに関する通知を行う。車両走行の安全性に支障がある場合の姿勢崩れである場合、第２駆動部２５は、運転者監視装置１０の指示によって制御されることで、運転席のハンドルを振動させるように駆動する。姿勢崩れに関する通知は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れを判定した場合に、第２駆動部２５が運転席のハンドルを振動させることによって行われる。第２駆動部２５は、車両が手動運転中の場合に、ハンドルを振動させることで、運転者に脇見、よそ見を気付かせる。 The second drive unit 25 notifies the posture collapse according to the determination result of the determination control unit 12 determining whether or not the posture collapse occurs when the safety of vehicle running is hindered. When the posture is lost when the safety of vehicle running is hindered, the second drive unit 25 is controlled by the instruction of the driver monitoring device 10 to drive the steering wheel of the driver's seat to vibrate. The notification regarding the posture collapse is performed by the second drive unit 25 vibrating the steering wheel of the driver's seat when the determination control unit 12 determines the posture collapse when the safety of vehicle running is hindered. When the vehicle is being manually driven, the second drive unit 25 vibrates the steering wheel to make the driver notice aside or looking away.

第２駆動部２５は、判定制御部１２が車両走行の安全性に支障のない場合の姿勢崩れであると判定したとき、姿勢崩れに関する通知を行わない。この場合、第２駆動部２５は、ハンドルを振動させない。 When the determination control unit 12 determines that the posture collapse occurs when the safety of vehicle running is not hindered, the second drive unit 25 does not notify the posture collapse. In this case, the second drive unit 25 does not vibrate the steering wheel.

＜空調装置２６＞
空調装置２６は、車室内を空気調和するエアコンディショナである。空調装置２６は、１以上の通知部の少なくとも一部の通知部である。 <Air conditioner 26>
The air conditioner 26 is an air conditioner that harmonizes the air inside the vehicle interior. The air conditioner 26 is at least a part of one or more notification units.

空調装置２６は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定した判定結果に応じて、姿勢崩れに関する通知を行う。姿勢崩れに関する通知は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れであると判定した場合に、空調装置２６が車室内の温度を下げたり、運転者に風を当てたりする。空調装置２６は、車室内の温度を下げたり、運転者に風を当てたりすることで、運転者を覚醒させる。 The air conditioner 26 notifies the posture collapse according to the determination result of the determination control unit 12 determining whether or not the posture collapse occurs when the safety of vehicle running is hindered. The notification regarding the posture collapse is such that when the determination control unit 12 determines that the posture collapse occurs when the safety of vehicle driving is hindered, the air conditioner 26 lowers the temperature inside the vehicle interior or blows wind to the driver. Or The air conditioner 26 awakens the driver by lowering the temperature inside the vehicle interior or blowing wind on the driver.

空調装置２６は、判定制御部１２が車両走行の安全性に支障のない場合の姿勢崩れであると判定したとき、姿勢崩れに関する通知を行わない。この場合、空調装置２６は、空調装置２６に車室内の温度を下げたり、運転者に風を当てたりしない。 When the determination control unit 12 determines that the posture collapse occurs when the safety of vehicle running is not hindered, the air conditioner 26 does not notify the posture collapse. In this case, the air conditioner 26 does not lower the temperature in the vehicle interior of the air conditioner 26 or blow the driver with wind.

＜表示部２７＞
表示部２７は、カーナビゲーション等の車載情報端末のディスプレイ、メータパネル内に設けられている車載ディスプレイである。表示部２７は、液晶パネル、有機ＥＬパネル等を備えたタッチディスプレイでもよい。表示部２７は、１以上の通知部の少なくとも一部の通知部である。 <Display unit 27>
The display unit 27 is a display of an in-vehicle information terminal such as a car navigation system, and an in-vehicle display provided in the meter panel. The display unit 27 may be a touch display provided with a liquid crystal panel, an organic EL panel, or the like. The display unit 27 is at least a part of the notification units of one or more notification units.

表示部２７は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定した判定結果に応じて、姿勢崩れに関する通知を行う。姿勢崩れに関する通知は、判定制御部１２が車両走行の安全性に支障がある場合の姿勢崩れであると判定した場合に、表示部２７が姿勢崩れであることを示す内容を表示することで注意喚起を行う。姿勢崩れであることを示す内容は、例えば、「警告」、「前方注意」、「居眠り注意」、「姿勢が悪いので、車両走行の安全性に支障があります」等の内容である。また、表示部２７は、運転者の姿勢崩れを正すために、適切な運転姿勢を表示したりする。 The display unit 27 notifies the posture collapse according to the determination result of the determination control unit 12 determining whether or not the posture collapse occurs when the safety of vehicle running is hindered. Note that the notification regarding the posture collapse is caused by displaying the content indicating that the posture collapse occurs on the display unit 27 when the determination control unit 12 determines that the posture collapse occurs when the safety of vehicle running is hindered. Awaken. The contents indicating that the posture is lost include, for example, "warning", "forward caution", "drowsiness caution", and "because the posture is bad, the safety of vehicle running is hindered". In addition, the display unit 27 displays an appropriate driving posture in order to correct the driver's posture collapse.

また、表示部２７は、判定制御部１２が車両走行の安全性に支障のない場合の姿勢崩れであると判定したとき、姿勢崩れに関する通知を行わない。この場合、表示部２７は、通知として注意喚起、適切な運転姿勢等の表示をしない。 Further, when the determination control unit 12 determines that the posture collapse occurs when the safety of vehicle running is not hindered, the display unit 27 does not notify the posture collapse. In this case, the display unit 27 does not display a warning, an appropriate driving posture, or the like as a notification.

また、表示部２７は、判定制御部１２が癖による姿勢崩れを判定した場合も、運転者監視装置１０の指示によって制御されることで、注意喚起、適切な運転姿勢等の表示をする。癖による姿勢崩れの場合は、車両走行の安全性にすぐに支障があるものではないので、車両が停車中に、注意喚起及び適切な運転姿勢等を表示してもよい。これによって、運転者は集中して運転することができる。 Further, even when the determination control unit 12 determines that the posture collapses due to a habit, the display unit 27 is controlled by the instruction of the driver monitoring device 10 to call attention and display an appropriate driving posture and the like. In the case of a posture collapse due to a habit, the safety of the vehicle running is not immediately hindered. Therefore, a warning and an appropriate driving posture may be displayed while the vehicle is stopped. This allows the driver to concentrate on driving.

表示部２７は、癖による姿勢崩れの場合、姿勢情報を提示する。姿勢情報は、姿勢を正すことを促すための情報であり、適切な運転姿勢及び姿勢崩れの影響の少なくとも一方を含む情報である。 The display unit 27 presents posture information in the case of a posture collapse due to a habit. Posture information is information for promoting corrective posture, and is information including at least one of an appropriate driving posture and the influence of posture collapse.

＜動作＞
以上のように構成される運転者監視装置１０及び運転者監視方法が行う動作について説明する。 <Operation>
The operation performed by the driver monitoring device 10 and the driver monitoring method configured as described above will be described.

まずは、運転者監視装置１０による姿勢崩れに関する通知を行う処理手順について、図２を用いて説明する。 First, a processing procedure for notifying the posture collapse by the driver monitoring device 10 will be described with reference to FIG.

図２は、実施の形態における運転者監視装置１０の動作を示すフローチャートである。 FIG. 2 is a flowchart showing the operation of the driver monitoring device 10 according to the embodiment.

図２に示すように、検出部１１は、姿勢崩れを検出する（Ｓ１０）。検出部１１は、検出した姿勢崩れを示す情報を生成し、判定制御部１２に出力する。なお、検出部１１が姿勢崩れを検出していない場合、姿勢崩れを検出したか否かを繰り返し判定してもよい。 As shown in FIG. 2, the detection unit 11 detects the posture collapse (S10). The detection unit 11 generates information indicating the detected posture collapse and outputs the information to the determination control unit 12. If the detection unit 11 has not detected the posture collapse, it may be repeatedly determined whether or not the posture collapse is detected.

次に、判定制御部１２は、姿勢崩れが所定時間以上継続されるか否かを判定する（Ｓ１１）。 Next, the determination control unit 12 determines whether or not the posture collapse is continued for a predetermined time or longer (S11).

次に、姿勢崩れが所定時間以上継続される場合（Ｓ１１でＹＥＳ）、判定制御部１２は、癖による姿勢崩れか否か判定する（Ｓ１２）。例えば運転開始直後から所定時間以上継続して姿勢崩れを検出している場合、判定制御部１２は、癖による姿勢崩れであると判定する（Ｓ１２でＹＥＳ）。ここで、運転開始直後は、例えば、シフトポジションをパーキングから移動させてから、所定時間内、又は、車両走行を開始してから所定時間内である。シフトポジション及び走行開始は、車両センサ３１が検出した車両情報に基づいて判断される。 Next, when the posture collapse is continued for a predetermined time or more (YES in S11), the determination control unit 12 determines whether or not the posture collapse is due to a habit (S12). For example, when the posture collapse is continuously detected for a predetermined time or more immediately after the start of operation, the determination control unit 12 determines that the posture collapse is due to a habit (YES in S12). Here, immediately after the start of operation, for example, it is within a predetermined time after the shift position is moved from the parking, or within a predetermined time after the vehicle starts running. The shift position and the start of traveling are determined based on the vehicle information detected by the vehicle sensor 31.

癖による姿勢崩れと判定した場合（Ｓ１２でＹＥＳ）、判定制御部１２は、車両が停車中か否かを判定する（Ｓ１３）。判定制御部１２は、車両センサ３１から取得した車両情報に基づいて、車両の走行速度を判定する。例えば、停車は、ブレーキをかけて車両を停止させている車両の一時的な停止、車両のエンジンをＯＦＦにしている状態のような停止を含む。なお、判定制御部１２は、車両が停車している状態だけでなく、実質的に停車とみなせる程度に十分に低い速度であれば、車両が停車中と判定してもよい。 When it is determined that the posture is lost due to a habit (YES in S12), the determination control unit 12 determines whether or not the vehicle is stopped (S13). The determination control unit 12 determines the traveling speed of the vehicle based on the vehicle information acquired from the vehicle sensor 31. For example, the stop includes a temporary stop of the vehicle in which the vehicle is stopped by applying the brake, and a stop such as a state in which the engine of the vehicle is turned off. The determination control unit 12 may determine that the vehicle is stopped, not only when the vehicle is stopped, but also when the speed is sufficiently low enough to be regarded as substantially stopped.

車両が停車中でない場合（Ｓ１３でＮＯ）、判定制御部１２は、ステップＳ１３の処理を繰り返し実行する。 When the vehicle is not stopped (NO in S13), the determination control unit 12 repeatedly executes the process of step S13.

車両が停車中である場合（Ｓ１３でＹＥＳ）、判定制御部１２は、適切な運転姿勢及び姿勢崩れの影響を示す姿勢情報を、表示部２７及び音響部２２を介して提示する。（Ｓ１４）。 When the vehicle is stopped (YES in S13), the determination control unit 12 presents posture information indicating an appropriate driving posture and the influence of the posture collapse via the display unit 27 and the sound unit 22. (S14).

図３は、運転者の姿勢を示す模式図である。図３のａは、適切な運転姿勢の提示例である。適切な運転姿勢の提示内容は、正しい運転姿勢を示すイラストレーション、正しい運転姿勢を取る手順等である。癖による姿勢崩れの場合は、車両走行の安全性にすぐに支障があるものでないが、崩れた姿勢で運転を続けることによって疲労が蓄積した場合の身体的負担、事故を起こす可能性の高まり等の影響が運転者にある。従って、運転に影響を与えない停車中に、正しい運転姿勢を提示する等の情報提供を行う。例えば、判定制御部１２は、適切な運転姿勢を表示部２７に表示させたり、姿勢崩れの影響を音響部２２から音声出力させたりする。 FIG. 3 is a schematic view showing the posture of the driver. FIG. 3A is an example of presenting an appropriate driving posture. The content of the appropriate driving posture is an illustration showing the correct driving posture, a procedure for taking the correct driving posture, and the like. In the case of posture collapse due to habits, the safety of vehicle driving is not immediately hindered, but the physical burden when fatigue accumulates due to continued driving in the collapsed posture, the possibility of causing an accident, etc. The influence of is on the driver. Therefore, information such as presenting the correct driving posture is provided while the vehicle is stopped without affecting the driving. For example, the determination control unit 12 displays an appropriate driving posture on the display unit 27, or outputs the effect of the posture collapse from the acoustic unit 22 as a voice.

一方、運転開始直後から姿勢崩れを検出していない場合、すなわち、運転開始直後よりも以降に、所定時間以上継続して姿勢崩れを検出している場合、判定制御部１２は、癖以外の姿勢崩れと判定する（Ｓ１２でＮＯ）。 On the other hand, if the posture collapse is not detected immediately after the start of operation, that is, if the posture collapse is continuously detected for a predetermined time or longer after the start of operation, the determination control unit 12 has a posture other than the habit. It is determined to be collapsed (NO in S12).

判定制御部１２が癖以外の姿勢崩れと判定した場合（Ｓ１２でＮＯ）、判定制御部１２は、車両情報に基づいて、車両走行の安全性に支障があるか否かを判定する（Ｓ２１）。車両走行の安全性に支障がない場合の姿勢崩れは、お店の駐車場等から通りに進入する場合、交差点で右左折を行う場合等に停車して左右を確認するために前屈みとなる姿勢崩れ（図３のｂ）、車両を後退させる際の後方確認による姿勢崩れ（図示せず）、車両を停車させて仮眠をとる場合にシートを傾けて横になることによる姿勢崩れ（図示せず）、車両を路肩に停車させて助手席においたスマートフォン等を操作する場合に助手席側に傾いた姿勢崩れ（図示せず）、自動運転状態時にリラックスした状態における姿勢崩れ（図示せず）等である。車両走行の安全性に支障がない場合の姿勢崩れのとき（Ｓ２１でＮＯ）、運転者監視装置１０は、車両走行の安全性にすぐに支障があるものでない場合は、姿勢崩れに関する通知（注意喚起）を行わず、ステップＳ１０に処理を戻す。 When the determination control unit 12 determines that the posture is out of order other than the habit (NO in S12), the determination control unit 12 determines whether or not there is an obstacle to the safety of vehicle running based on the vehicle information (S21). .. If the posture does not interfere with the safety of vehicle driving, the posture collapses when entering the street from the parking lot of the store, turning left or right at an intersection, etc., and leaning forward to check the left and right. Collapse (b in Fig. 3), posture collapse due to rearward confirmation when reversing the vehicle (not shown), posture collapse due to tilting the seat and lying down when the vehicle is stopped and taking a nap (not shown) ), When the vehicle is stopped on the shoulder of the road and the smartphone etc. in the passenger seat is operated, the posture collapses leaning toward the passenger seat side (not shown), the posture collapses in a relaxed state during automatic driving (not shown), etc. Is. When the posture collapses when the safety of vehicle driving is not impaired (NO in S21), the driver monitoring device 10 notifies the posture collapse when the safety of vehicle driving is not immediately impaired (caution). The process is returned to step S10 without performing the arousal).

車両走行の安全性に支障がある姿勢崩れの場合（Ｓ２１でＹＥＳ）、運転者監視装置１０は、姿勢崩れに関する通知を行う。（Ｓ１５）。この場合、運転者監視装置１０は、運転者に対して即効性の高い注意喚起を行う。例えば、運転者が即座に気づきやすい強い注意喚起を行う。また、癖以外による姿勢崩れとして判定された時刻に即座に注意喚起を行う。具体的には、運転者監視装置１０は、姿勢崩れに関する通知として、音響部２２に警告音を出力させたり、音響部２２に警告音の音量を次第に上昇させたり、照明装置２３に発する光を変化させたり、第１駆動部２４に運転席に設けられるシートベルトを締め付けさせたり、第２駆動部２５に運転席のハンドルを振動させたり、空調装置２６に車室内の温度を下げさせたり、空調装置２６に運転者に風を当てたり、表示部２７に姿勢崩れに関する注意喚起表示を行うような、少なくとも１以上の制御を行う。また、運転者監視装置１０は、照明装置２３が発する光の変化として、照明装置２３が発する光の色調を赤くしたり、照明装置２３が発する光の明るさをさらに明るくしたりするように、照明装置２３を制御することもある。運転者監視装置１０は、音響部２２、照明装置２３、第１駆動部２４、第２駆動部２５、空調装置２６、及び、表示部２７の少なくとも１つを制御することで、運転者に注意喚起する。 In the case of a posture collapse that hinders the safety of vehicle running (YES in S21), the driver monitoring device 10 notifies the posture collapse. (S15). In this case, the driver monitoring device 10 alerts the driver with a high immediate effect. For example, it gives a strong alert that the driver can immediately notice. In addition, an alert is immediately issued at the time when it is determined that the posture is lost due to something other than a habit. Specifically, the driver monitoring device 10 outputs a warning sound to the sound unit 22 as a notification regarding the posture collapse, gradually raises the volume of the warning sound to the sound unit 22, and emits light emitted to the lighting device 23. The first drive unit 24 is tightened with a seat belt provided in the driver's seat, the second drive unit 25 is made to vibrate the steering wheel of the driver's seat, and the air conditioner 26 is made to lower the temperature inside the vehicle interior. At least one or more controls are performed such that the air conditioner 26 is exposed to the wind to the driver and the display unit 27 is displayed to call attention to the posture collapse. Further, the driver monitoring device 10 makes the color tone of the light emitted by the lighting device 23 red or further brightens the brightness of the light emitted by the lighting device 23 as a change in the light emitted by the lighting device 23. It may also control the lighting device 23. The driver monitoring device 10 pays attention to the driver by controlling at least one of the acoustic unit 22, the lighting device 23, the first drive unit 24, the second drive unit 25, the air conditioner 26, and the display unit 27. Awaken.

判定制御部１２は、運転者の姿勢が改善したか否か判定する（Ｓ１６）。姿勢崩れ量が閾値未満となっている場合、判定制御部１２は、運転者の姿勢が改善したと判定し（Ｓ１６でＹＥＳ）、本処理を終了する。この場合、判定制御部１２は、音響部２２、照明装置２３、第１駆動部２４、第２駆動部２５、空調装置２６、及び、表示部２７に対して、姿勢崩れに関する通知を停止させる。 The determination control unit 12 determines whether or not the driver's posture has improved (S16). When the amount of posture collapse is less than the threshold value, the determination control unit 12 determines that the posture of the driver has improved (YES in S16), and ends this process. In this case, the determination control unit 12 stops the notification regarding the posture collapse to the sound unit 22, the lighting device 23, the first drive unit 24, the second drive unit 25, the air conditioner 26, and the display unit 27.

姿勢崩れ量が閾値以上となっている場合、判定制御部１２は、運転者の姿勢が改善されていないと判定し（Ｓ１６でＮＯ）、所定時間よりも長い間、運転者が目を閉じているか否か判定する（Ｓ１７）。例えば、運転者が目を閉じているとは、所定時間よりも長い間、目の開度が規定量よりも小さい場合であり、完全に目を閉じている場合だけでない。なお、ステップＳ１７の所定時間（例えば第２所定時間）は、ステップＳ１１の所定時間（例えば第１所定時間）と同一の時間であってもよく、異なる時間であってもよい。 When the amount of posture collapse is equal to or greater than the threshold value, the determination control unit 12 determines that the posture of the driver has not been improved (NO in S16), and the driver closes his eyes for a longer time than the predetermined time. Whether or not it is determined (S17). For example, the driver has his eyes closed when the opening of his eyes is smaller than the specified amount for a period longer than a predetermined time, and not only when his eyes are completely closed. The predetermined time in step S17 (for example, the second predetermined time) may be the same as the predetermined time in step S11 (for example, the first predetermined time), or may be different.

所定時間よりも長い間運転者が目を閉じている場合（Ｓ１７でＹＥＳ）、適切な制動及び操舵を行い安全に停車するように、車両制御装置３２に停止指示を出力する（Ｓ１８）。これにより、車両の運転が停止される。また、周囲の車両に危険を知らせるために、運転者監視装置１０は、車両制御装置３２に対してヘッドライトの点灯及びクラクションを吹聴する等の指示を出力する。車両制御装置３２は、当該指示に基づいて、ヘッドライトを点灯させたり、クラクションを吹聴させたりする。つまり、運転者監視装置１０の判定制御部１２は、周囲の車両に危険を知らせるための通知を行う。また、運転者監視装置１０は、車両の他の搭乗者に危険を知らせるために、音響部２２に警告を出力させる。つまり、運転者監視装置１０の判定制御部１２は、車両の他の搭乗者に危険を知らせる通知を行う。 When the driver closes his eyes for a longer time than a predetermined time (YES in S17), a stop instruction is output to the vehicle control device 32 so that the vehicle can stop safely by performing appropriate braking and steering (S18). As a result, the operation of the vehicle is stopped. Further, in order to notify the surrounding vehicles of the danger, the driver monitoring device 10 outputs an instruction to the vehicle control device 32, such as turning on the headlights and listening to the horn. The vehicle control device 32 turns on the headlights and makes the horn sound based on the instruction. That is, the determination control unit 12 of the driver monitoring device 10 notifies the surrounding vehicles of the danger. Further, the driver monitoring device 10 causes the acoustic unit 22 to output a warning in order to notify other passengers of the vehicle of the danger. That is, the determination control unit 12 of the driver monitoring device 10 notifies other passengers of the vehicle of the danger.

一方、所定時間よりも長い間運転者の目が閉じていない場合（Ｓ１７でＮＯ）、判定制御部１２は、ステップＳ１３の処理と同様に車両が停車中か否か判定する（Ｓ１９）。車両が停車中の場合（Ｓ１９でＹＥＳ）、判定制御部１２は、ステップＳ１４の処理と同様に姿勢情報を提示する（Ｓ２０）。図３のｃでは、例えば、運転者が背筋を伸ばして走行する車両を手動運転する様子を例示している。この場合、運転者は、リラックスしており、姿勢崩れを起こしている。このため、判定制御部１２は、図３のａに示す姿勢情報を、表示部２７及び音響部２２を介して提示する。 On the other hand, when the driver's eyes are not closed for a longer time than a predetermined time (NO in S17), the determination control unit 12 determines whether or not the vehicle is stopped (S19) as in the process of step S13. When the vehicle is stopped (YES in S19), the determination control unit 12 presents the attitude information in the same manner as in the process of step S14 (S20). In c of FIG. 3, for example, a state in which a driver manually drives a vehicle traveling with his / her back straight is illustrated. In this case, the driver is relaxed and has a posture collapse. Therefore, the determination control unit 12 presents the posture information shown in FIG. 3a via the display unit 27 and the acoustic unit 22.

そして、運転者監視装置１０は、処理を終了する。 Then, the driver monitoring device 10 ends the process.

なお、本実施の形態では、癖による姿勢崩れか否かを判定して、癖による姿勢崩れと癖以外の姿勢崩れを別々のフローで注意喚起を行ったが、癖による姿勢崩れの判定を行わずに、検出された姿勢崩れの全てに対して、本実施の形態における癖以外の姿勢崩れと同じフローで注意喚起を行ってもよい。もしくは、癖による姿勢崩れの判定を行わずに、検出された姿勢崩れの全てに対して、本実施の形態における癖による姿勢崩れと同じフローで注意喚起を行ってもよい。 In the present embodiment, it is determined whether or not the posture collapses due to the habit, and the posture collapse due to the habit and the posture collapse other than the habit are alerted by different flows, but the posture collapse due to the habit is determined. Instead, attention may be given to all the detected posture collapses in the same flow as the posture collapses other than the habit in the present embodiment. Alternatively, without determining the posture collapse due to the habit, attention may be given to all the detected posture collapses in the same flow as the posture collapse due to the habit in the present embodiment.

＜作用効果＞
次に、本実施の形態における運転者監視装置１０及び運転者監視方法の作用効果について説明する。 <Effect>
Next, the operation and effect of the driver monitoring device 10 and the driver monitoring method in the present embodiment will be described.

以上のように、本実施の形態における運転者監視装置１０は、撮像装置２１によって撮像された画像を用いて車両の運転席に搭乗する運転者の姿勢崩れを検出する検出部１１と、車両から取得する車両走行に関する状態と、検出部１１によって検出された運転者の姿勢崩れとに基づいて、前記姿勢崩れが車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定する判定制御部１２とを備える。判定制御部１２は、姿勢崩れが車両走行の安全性に支障がない場合の姿勢崩れであると判定した場合、車両に備えられた１以上の通知部に姿勢崩れに関する通知を行わせる。 As described above, the driver monitoring device 10 in the present embodiment uses the image captured by the image pickup device 21 to detect the posture collapse of the driver in the driver's seat of the vehicle, and the detection unit 11 from the vehicle. Based on the acquired state related to vehicle running and the posture collapse of the driver detected by the detection unit 11, it is determined whether or not the posture collapse is a posture collapse when the safety of vehicle driving is hindered. A determination control unit 12 is provided. When the determination control unit 12 determines that the posture collapse is a posture collapse when the safety of the vehicle running is not hindered, the determination control unit 12 causes one or more notification units provided in the vehicle to notify the posture collapse.

したがって、この運転者監視装置１０は、不要な通知がされてしまうこと抑制することができる。その結果、運転者は、姿勢崩れに関する通知による煩わしさを感じ難くなる。 Therefore, the driver monitoring device 10 can prevent unnecessary notifications from being given. As a result, the driver is less likely to feel the annoyance of being notified of the posture collapse.

特に、運転者監視装置１０は、姿勢崩れに関する通知を出力することで、運転者の姿勢を正すように促すことができる。このため、運転者監視装置１０は、車両を運転する運転者の安全性を確保することができる。 In particular, the driver monitoring device 10 can urge the driver to correct the posture by outputting a notification regarding the posture collapse. Therefore, the driver monitoring device 10 can ensure the safety of the driver who drives the vehicle.

本実施の形態における運転者監視方法は、撮像された画像を用いて車両の運転席に搭乗する運転者の姿勢崩れを検出し、車両から取得する車両走行に関する状態と、検出された運転者の姿勢崩れとに基づいて、姿勢崩れが車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定し、車両走行の安全性に支障がある場合の姿勢崩れであると判定した場合に、姿勢崩れに関する通知をすることとを含む。 In the driver monitoring method of the present embodiment, the posture collapse of the driver who is in the driver's seat of the vehicle is detected by using the captured image, the state related to the vehicle running acquired from the vehicle, and the detected driver's posture. Based on the posture collapse, it was determined whether or not the posture collapse was a posture collapse when the safety of vehicle driving was hindered, and it was determined that the posture collapse was a posture collapse when the safety of vehicle driving was hindered. In some cases, it includes notifying about posture collapse.

本実施の形態における運転者監視装置１０において、判定制御部１２は、検出部１１が検出する姿勢崩れが、車両の運転開始直後から所定時間以上継続される場合、癖による姿勢崩れであると判定する。また、判定制御部１２は、検出部１１が検出する姿勢崩れが、車両の運転開始直後よりも以降に、所定時間以上継続して姿勢崩れを検出している場合に、癖以外の姿勢崩れであると判定する。そして、判定制御部１２は、癖による姿勢崩れと判定した場合と、癖以外の姿勢崩れと判定した場合とで、通知部における姿勢崩れに関する通知の態様を異ならせる。 In the driver monitoring device 10 of the present embodiment, the determination control unit 12 determines that the posture collapse detected by the detection unit 11 is a posture collapse due to a habit when the posture collapse is continued for a predetermined time or more immediately after the start of driving of the vehicle. do. Further, when the posture collapse detected by the detection unit 11 is continuously detected for a predetermined time or more after the start of operation of the vehicle, the determination control unit 12 causes a posture collapse other than the habit. Judge that there is. Then, the determination control unit 12 makes the mode of notification regarding the posture collapse in the notification unit different between the case where the posture collapse is determined due to the habit and the case where the posture collapse other than the habit is determined.

本実施の形態における運転者監視装置１０において、判定制御部１２は、姿勢崩れが癖以外の姿勢崩れである場合、車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定する。そして、判定制御部１２は、車両走行の安全性に支障がないと判定した場合、通知部に姿勢崩れに関する通知を行わせない。 In the driver monitoring device 10 of the present embodiment, the determination control unit 12 determines whether or not the posture collapse is a posture collapse other than the habit, or the posture collapse when the safety of vehicle running is hindered. do. Then, when the determination control unit 12 determines that there is no problem in the safety of vehicle traveling, the determination control unit 12 does not cause the notification unit to notify the posture collapse.

これによれば、運転者が車両走行の安全性に支障がある姿勢崩れを起こしていないとする判定制御部１２の判定結果である場合、通知部は、姿勢崩れに関する通知を行わない。このため、例えば、車両を停車させて仮眠をとっている場合、車両を後退させる際に後方を確認する場合、車両を路肩に停車させてスマートフォン等を操作する場合等の車両走行に支障がない場合では、姿勢崩れに関する通知がされない。 According to this, when the determination result of the determination control unit 12 that the driver has not caused the posture collapse that hinders the safety of vehicle running, the notification unit does not give the notification regarding the posture collapse. Therefore, for example, there is no hindrance to vehicle running when the vehicle is stopped and taking a nap, when the vehicle is retracted to check the rear, or when the vehicle is stopped on the shoulder and the smartphone or the like is operated. In some cases, no notification of posture collapse is given.

本実施の形態における運転者監視装置１０において、判定制御部１２は、車両が自動運転状態から手動運転状態に切り替わる時刻よりも前の所定時間内における癖以外の姿勢崩れを、安全性に支障がある場合の姿勢崩れであると判定する。 In the driver monitoring device 10 of the present embodiment, the determination control unit 12 hinders the safety of posture collapse other than the habit within a predetermined time before the time when the vehicle switches from the automatic driving state to the manual driving state. It is determined that the posture is broken in a certain case.

本実施の形態における運転者監視装置１０において、検出部１１は、運転者の姿勢崩れ量を検出し、判定制御部１２は、姿勢崩れ量の大きさに応じて、姿勢崩れに関する通知を行う通知部の数を変更する。 In the driver monitoring device 10 of the present embodiment, the detection unit 11 detects the amount of the driver's posture collapse, and the determination control unit 12 notifies the driver about the posture collapse according to the magnitude of the posture collapse amount. Change the number of copies.

本実施の形態における運転者監視装置１０において、判定制御部１２は、姿勢崩れ量が大きいほど、姿勢崩れに関する通知を行う通知部の数を増やす。 In the driver monitoring device 10 of the present embodiment, the determination control unit 12 increases the number of notification units for notifying the posture collapse as the amount of the posture collapse increases.

本実施の形態における運転者監視装置１０において、判定制御部１２は、姿勢崩れ量に基づいて、運転者の姿勢が改善したか否かを判定し、運転者の姿勢が改善したと判定した場合は、通知部に姿勢崩れに関する通知を停止させる。 In the driver monitoring device 10 of the present embodiment, the determination control unit 12 determines whether or not the driver's posture has improved based on the amount of posture collapse, and determines that the driver's posture has improved. Stops the notification unit to stop the notification regarding the posture collapse.

本実施の形態における運転者監視装置１０において、判定制御部１２は、姿勢崩れ量が閾値以上となっている場合は、所定時間よりも長い間運転者が目を閉じているか否かを判定する。判定制御部１２は、所定時間よりも長い間運転者が目を閉じていると判定した場合、車両の運転を制御する車両制御装置３２に対して車両の運転を停止させる。 In the driver monitoring device 10 of the present embodiment, the determination control unit 12 determines whether or not the driver has closed his eyes for a longer time than a predetermined time when the amount of posture collapse is equal to or greater than the threshold value. .. When the determination control unit 12 determines that the driver has closed his eyes for a longer time than a predetermined time, the determination control unit 12 causes the vehicle control device 32 that controls the operation of the vehicle to stop the operation of the vehicle.

本実施の形態における運転者監視装置１０において、判定制御部１２は、車両制御装置３２に車両を停止させる場合に、１以上の通知部に周囲の車両に危険を知らせるための通知を行わせる。 In the driver monitoring device 10 of the present embodiment, when the vehicle control device 32 stops the vehicle, the determination control unit 12 causes one or more notification units to notify the surrounding vehicles of the danger.

本実施の形態における運転者監視装置１０において、判定制御部１２は、車両制御装置３２に車両を停止させる場合に、１以上の通知部に車両の他の搭乗者に危険を知らせる通知を行わせる。 In the driver monitoring device 10 of the present embodiment, when the vehicle control device 32 stops the vehicle, the determination control unit 12 causes one or more notification units to notify other passengers of the vehicle of the danger. ..

本実施の形態における運転者監視装置１０において、１以上の通知部の少なくとも一部の通知部は、運転席に設けられるシートベルトを締め付ける第１駆動部２４である。そして、姿勢崩れに関する通知は、車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、第１駆動部２４が運転席に設けられるシートベルトを締め付けることによって行われる。 In the driver monitoring device 10 of the present embodiment, at least a part of the notification units of one or more notification units is a first drive unit 24 for tightening a seat belt provided in the driver's seat. Then, when it is determined that the posture collapse occurs when the safety of the vehicle traveling is hindered, the notification regarding the posture collapse is performed by the first drive unit 24 tightening the seat belt provided in the driver's seat.

これによれば、運転者が脇見をした場合でも、第１駆動部２４は、シートベルトを締め付けるため、運転者に脇見をしていることを気付かせることができる。これにより、運転者には、脇見を正そうという誘因が働きやすくなる。このため、運転者監視装置１０では、車両を運転する運転者の安全性を確保することができる。 According to this, even when the driver looks aside, the first drive unit 24 tightens the seat belt, so that the driver can notice that he is looking aside. This makes it easier for the driver to have an incentive to correct his inattentiveness. Therefore, the driver monitoring device 10 can ensure the safety of the driver who drives the vehicle.

本実施の形態における運転者監視装置１０において、１以上の通知部の少なくとも一部の通知部は、運転席よりも前方に配置される音響部２２でもある。そして、姿勢崩れに関する通知は、車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、音響部２２が警告音を出力することによって行われる。 In the driver monitoring device 10 of the present embodiment, at least a part of the notification units of one or more notification units is also an acoustic unit 22 arranged in front of the driver's seat. Then, when it is determined that the posture collapse occurs when the safety of the vehicle running is hindered, the notification regarding the posture collapse is performed by the acoustic unit 22 outputting a warning sound.

これによれば、運転者の前方から音響部２２が警告音を発すれば、運転者は、音が発生した方向である車両の進行方向に向く。このため、運転者監視装置１０では、運転者に脇見をしていることを気付かせることができる。これにより、運転者には、脇見を正そうという誘因が働きやすくなる。このため、運転者監視装置１０では、車両を運転する運転者の安全性を確保することができる。 According to this, if the acoustic unit 22 emits a warning sound from the front of the driver, the driver turns to the traveling direction of the vehicle, which is the direction in which the sound is generated. Therefore, the driver monitoring device 10 can make the driver notice that he / she is looking aside. This makes it easier for the driver to have an incentive to correct his inattentiveness. Therefore, the driver monitoring device 10 can ensure the safety of the driver who drives the vehicle.

本実施の形態における運転者監視装置１０において、車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、音響部２２は、出力する警告音の音量を次第に上昇させる。 In the driver monitoring device 10 of the present embodiment, when it is determined that the posture is lost when the safety of vehicle traveling is hindered, the acoustic unit 22 gradually raises the volume of the warning sound to be output.

これによれば、警告音の音量を上げることで、例えば運転者を覚醒させることができる。これにより、運転者は、姿勢を正して注意深く運転するようになる。一方で、車両走行の安全性に支障がない場合には、警告音を出力しない。これによって、例えば、運転者が車両を停車させて仮眠している場合に、睡眠を妨害されることを防ぐことができる。 According to this, for example, the driver can be awakened by increasing the volume of the warning sound. As a result, the driver will be able to correct his / her posture and drive carefully. On the other hand, if there is no problem in the safety of vehicle driving, the warning sound is not output. This makes it possible, for example, to prevent the driver from being disturbed when the vehicle is stopped and taking a nap.

本実施の形態における運転者監視装置１０において、１以上の通知部の少なくとも一部の通知部は、車室内を照明する照明装置２３でもある。そして、姿勢崩れに関する通知は、車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、照明装置２３が発する光を変化させることによって行われる。 In the driver monitoring device 10 of the present embodiment, at least a part of the notification units of one or more notification units is also a lighting device 23 that illuminates the vehicle interior. Then, when it is determined that the posture collapse occurs when the safety of the vehicle traveling is hindered, the notification regarding the posture collapse is performed by changing the light emitted by the lighting device 23.

本実施の形態における運転者監視装置１０において、姿勢崩れに関する通知は、車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、照明装置２３が発する光の色調を赤くすることによって行われる。 In the driver monitoring device 10 of the present embodiment, when it is determined that the notification regarding the posture collapse is the posture collapse when the safety of vehicle running is hindered, the color tone of the light emitted by the lighting device 23 is red. It is done by doing.

本実施の形態における運転者監視装置１０において、姿勢崩れに関する通知は、車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、照明装置２３が発する光の明るさを、さらに明るくすることによって行われる。 In the driver monitoring device 10 of the present embodiment, the notification regarding the posture collapse indicates the brightness of the light emitted by the lighting device 23 when it is determined that the posture collapse occurs when the safety of vehicle running is hindered. , Made by making it even brighter.

本実施の形態における運転者監視装置１０において、１以上の通知部の少なくとも一部の通知部は、車室内を空気調和する空調装置２６でもある。そして、姿勢崩れに関する通知は、車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、空調装置２６が車室内の温度を下げる及び運転者に風を当てることの少なくとも一方である。 In the driver monitoring device 10 of the present embodiment, at least a part of the notification units of one or more notification units is also an air conditioner 26 that harmonizes the air inside the vehicle interior. Then, when it is determined that the notification regarding the posture collapse is the posture collapse when the safety of the vehicle running is hindered, the air conditioner 26 lowers the temperature in the vehicle interior and blows the driver at least. On the other hand.

これによれば、車室内の温度を下げたり、運転者に風を当てたりすることで、例えば運転者を覚醒させることができる。これにより、運転者は、姿勢を正して注意深く運転するようになる。 According to this, for example, the driver can be awakened by lowering the temperature in the vehicle interior or blowing the wind on the driver. As a result, the driver will be able to correct his / her posture and drive carefully.

本実施の形態における運転者監視装置１０において、１以上の通知部の少なくとも一部の通知部は、運転席のハンドルを振動させる第２駆動部２５でもある。そして、姿勢崩れに関する通知は、車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、第２駆動部２５による運転席のハンドルを振動させることによって行われる。 In the driver monitoring device 10 of the present embodiment, at least a part of the notification units of one or more notification units is also a second drive unit 25 that vibrates the steering wheel of the driver's seat. Then, when it is determined that the posture collapse occurs when the safety of the vehicle traveling is hindered, the notification regarding the posture collapse is performed by vibrating the steering wheel of the driver's seat by the second drive unit 25.

本実施の形態における運転者監視装置１０において、１以上の通知部の少なくとも一部の通知部は、運転者に情報を提示可能な表示部２７でもある。そして、姿勢崩れに関する通知は、車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、表示部２７に車両走行の安全性に支障があることを示す内容を表示することによって行われる。 In the driver monitoring device 10 of the present embodiment, at least a part of the notification units of one or more notification units is also a display unit 27 capable of presenting information to the driver. Then, when the notification regarding the posture collapse is determined to be the posture collapse when the safety of the vehicle running is hindered, the display unit 27 displays the content indicating that the safety of the vehicle running is hindered. It is done by.

これによれば、表示部２７に姿勢崩れであることを示す内容を表示することで、例えば、運転者に注意喚起を行うことができる。このため、運転者は、姿勢を正して注意深く運転するようになる。 According to this, for example, the driver can be alerted by displaying the content indicating that the posture is lost on the display unit 27. For this reason, the driver will be able to correct his / her posture and drive carefully.

（その他変形例等）
以上、本開示について、実施の形態に基づいて説明したが、本開示は、これら実施の形態等に限定されるものではない。 (Other modifications, etc.)
Although the present disclosure has been described above based on the embodiments, the present disclosure is not limited to these embodiments and the like.

上記実施の形態に係る運転者監視装置及び運転者監視方法では、例えば、車両が自動運転状態で運転者がリラックスした姿勢をとっている場合、車両が駐車場から出発して道路に進入する場合、車両が右折又は左折する場合等で運転者が運転席から前屈みになって周囲（前後左右）を確認する場合には、姿勢を崩しても車両走行の安全性に支障がないため、運転者に対して姿勢崩れに関する通知をしなくてもよい。このときに、判定部は、姿勢崩れの判定よりも先に、車両センサ等を用いて、車両走行の安全性に支障がないか否かの判定を行い、車両走行の安全性に支障がないと判定された場合には、姿勢崩れであるか否かの判定をしなくてもよい。また、車両走行の安全性に支障があると判定された場合にのみ、姿勢崩れであるか否かの判定を行ってもよい。 In the driver monitoring device and the driver monitoring method according to the above embodiment, for example, when the vehicle is in an automatic driving state and the driver is in a relaxed posture, when the vehicle departs from the parking lot and enters the road. , When the driver bends forward from the driver's seat and checks the surroundings (front, back, left and right) when the vehicle turns right or left, the driver does not hinder the safety of vehicle driving even if the vehicle loses its posture. It is not necessary to notify the person about the collapse of posture. At this time, the determination unit uses a vehicle sensor or the like to determine whether or not the safety of the vehicle running is hindered before the judgment of the posture collapse, and the safety of the vehicle running is not hindered. If it is determined, it is not necessary to determine whether or not the posture is collapsed. In addition, it may be determined whether or not the posture is lost only when it is determined that the safety of vehicle running is hindered.

また、上記実施の形態に係る運転者監視装置及び運転者監視方法では、自動運転状態であっても、自動運転状態から手動運転状態に切り替わるまでの自動運転状態中における所定時間内の場合は、運転者の姿勢崩れによる注意喚起を行ってもよい。つまり、自動運転状態から手動運転状態に切り替わる直前では、運転者が安全に運転するために、姿勢崩れの状態でないことが望ましい。自動運転状態から手動運転状態に切り替わる際に、運転者が適切に手動運転をすることができるように、音響部、表示部等を用いて運転者に対して通知してもよい。 Further, in the driver monitoring device and the driver monitoring method according to the above embodiment, even in the automatic driving state, if it is within a predetermined time in the automatic driving state until the automatic driving state is switched to the manual driving state, You may call attention by the driver's posture collapse. That is, immediately before switching from the automatic driving state to the manual driving state, it is desirable that the driver does not lose his / her posture in order to drive safely. When switching from the automatic driving state to the manual driving state, the driver may be notified by using an acoustic unit, a display unit, or the like so that the driver can perform manual driving appropriately.

また、上記実施の形態に係る運転者監視装置及び運転者監視方法において、運転者が車両を運転開始した直後でも、所定時間以上検出された姿勢崩れが、例えば、幹線道路に出るために車両を停車させて左右を確認する場合、車両を後退させて駐車場から出る場合等の車両走行の安全性に支障がない姿勢崩れの場合は、癖による姿勢崩れとして判定しないようにしてもよい。 Further, in the driver monitoring device and the driver monitoring method according to the above embodiment, even immediately after the driver starts driving the vehicle, the posture collapse detected for a predetermined time or longer is caused, for example, to cause the vehicle to go out on the main road. In the case of a posture collapse that does not interfere with the safety of vehicle driving, such as when the vehicle is stopped and the left and right are checked, or when the vehicle is retracted and exits the parking lot, it may not be determined as a posture collapse due to a habit.

これによって、例えば、手動運転時の車両が時速１０ｋｍ以上で直進（前進）している場合における姿勢崩れのように、車両走行の安全性に支障がある場合において、車両を停車させて左右を確認する場合等と同じような姿勢崩れが起こった場合にも、癖による姿勢崩れとは判定されないため、運転者に姿勢崩れを注意喚起することができる。 As a result, when the safety of vehicle running is hindered, for example, when the vehicle is moving straight (forward) at a speed of 10 km / h or more during manual driving, the vehicle is stopped and the left and right are checked. Even if the posture collapse occurs in the same manner as in the case of doing so, it is not determined that the posture collapse is due to a habit, so that the driver can be alerted to the posture collapse.

また、上記各実施の形態に係る運転者監視装置及び運転者監視方法では、判定制御部は、運転者の車両走行の安全性に支障がある場合の姿勢崩れを判定する判定部と、判定した判定結果に応じて、音響部、照明装置、第１駆動部、第２駆動部、空調装置、及び、表示部を制御する制御部とを有していてもよい。 Further, in the driver monitoring device and the driver monitoring method according to each of the above embodiments, the determination control unit determines that the determination control unit is a determination unit that determines the posture collapse when the driver's vehicle running safety is hindered. Depending on the determination result, it may have an acoustic unit, a lighting device, a first drive unit, a second drive unit, an air conditioner, and a control unit that controls a display unit.

また、上記各実施の形態に係る運転者監視装置及び運転者監視方法は、コンピュータを用いたプログラムによって実現され、このようなプログラムは、記憶装置に記憶されてもよい。つまり、運転者監視装置は、記憶装置を有していてもよい。 Further, the driver monitoring device and the driver monitoring method according to each of the above embodiments are realized by a program using a computer, and such a program may be stored in the storage device. That is, the driver monitoring device may have a storage device.

また、上記各実施の形態に係る運転者監視装置及び運転者監視方法に含まれる各処理部は、典型的に集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。 Further, each processing unit included in the driver monitoring device and the driver monitoring method according to each of the above embodiments is typically realized as an LSI which is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include a part or all of them.

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。 Further, the integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI may be used.

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。 In each of the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態は例示された数字に制限されない。 In addition, the numbers used above are all examples for the purpose of specifically explaining the present disclosure, and the embodiments of the present disclosure are not limited to the illustrated numbers.

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。 Further, the division of the functional block in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be transferred to other functional blocks. You may. Further, the functions of a plurality of functional blocks having similar functions may be processed by a single hardware or software in parallel or in a time division manner.

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。 Further, the order in which each step in the flowchart is executed is for the purpose of exemplifying the present disclosure in detail, and may be an order other than the above. Further, a part of the above steps may be executed at the same time (parallel) as other steps.

その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。 In addition, a form obtained by applying various modifications to the embodiment that a person skilled in the art can think of, and a form realized by arbitrarily combining the components and functions in the embodiment without departing from the purpose of the present disclosure are also present. Included in the disclosure.

本開示は、自動運転車両、及び、手動運転車両を含むシステムに適用できる。 The present disclosure is applicable to systems including self-driving vehicles and manually driven vehicles.

１運転者監視システム
１０運転者監視装置
１１検出部
１２判定制御部（判定部）
１３計時部
２１撮像装置
２２音響部（通知部）
２３照明装置（通知部）
２４第１駆動部（通知部）
２５第２駆動部（通知部）
２６空調装置（通知部）
２７表示部（通知部）
３１車両センサ
３２車両制御装置 1 Driver monitoring system 10 Driver monitoring device 11 Detection unit 12 Judgment control unit (judgment unit)
13 Timekeeping unit 21 Imaging device 22 Sound unit (notification unit)
23 Lighting device (notification unit)
24 1st drive unit (notification unit)
25 Second drive unit (notification unit)
26 Air conditioner (notification unit)
27 Display section (notification section)
31 Vehicle sensor 32 Vehicle control device

Claims

撮像装置によって撮像された画像を用いて車両の運転席に搭乗する運転者の姿勢崩れを検出する検出部と、
前記車両から取得する車両走行に関する状態と、前記検出部によって検出された運転者の姿勢崩れとに基づいて、前記姿勢崩れが前記車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定する判定部とを備え、
前記判定部は、前記姿勢崩れが前記車両走行の安全性に支障がある場合の姿勢崩れであると判定した場合、前記車両に備えられた１以上の通知部に前記姿勢崩れに関する通知を行わせる
運転者監視装置。 A detection unit that detects the posture collapse of the driver in the driver's seat of the vehicle using the image captured by the image pickup device, and
Whether or not the posture collapse is a posture collapse when the safety of the vehicle travel is hindered, based on the state related to the vehicle traveling acquired from the vehicle and the posture collapse of the driver detected by the detection unit. It is equipped with a judgment unit that determines whether or not.
When the determination unit determines that the posture collapse is a posture collapse when the safety of the vehicle running is hindered, the determination unit causes one or more notification units provided in the vehicle to notify the posture collapse. Driver monitoring device.

前記判定部は、
前記検出部が検出する姿勢崩れが、前記車両の運転開始直後から前記所定時間以上継続される場合、癖による姿勢崩れであると判定し、
前記検出部が検出する姿勢崩れが、前記車両の運転開始直後よりも以降に、所定時間以上継続して姿勢崩れを検出している場合に、癖以外の姿勢崩れであると判定し、
前記癖による姿勢崩れと判定した場合と、前記癖以外の姿勢崩れと判定した場合とで、前記通知部における前記姿勢崩れに関する通知の態様を異ならせる
請求項１に記載の運転者監視装置。 The determination unit
When the posture collapse detected by the detection unit continues for the predetermined time or more immediately after the start of operation of the vehicle, it is determined that the posture collapse is due to a habit.
When the posture collapse detected by the detection unit is continuously detected for a predetermined time or longer after immediately after the start of operation of the vehicle, it is determined that the posture collapse is other than the habit.
The driver monitoring device according to claim 1, wherein the mode of notification regarding the posture collapse in the notification unit differs between the case where the posture collapse is determined due to the habit and the case where the posture collapse other than the habit is determined.

前記判定部は、
前記検出部が検出する姿勢崩れが前記癖以外の姿勢崩れである場合、前記車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定し、
前記車両走行の安全性に支障がないと判定した場合、前記通知部に前記姿勢崩れに関する通知を行わせない
請求項２に記載の運転者監視装置。 The determination unit
When the posture collapse detected by the detection unit is a posture collapse other than the habit, it is determined whether or not the posture collapse is a posture collapse when the safety of the vehicle running is hindered.
The driver monitoring device according to claim 2, wherein when it is determined that the safety of the vehicle running is not hindered, the notification unit is not notified of the posture collapse.

前記判定部は、前記車両が自動運転状態から手動運転状態に切り替わる時刻よりも前の所定時間内における癖以外の姿勢崩れを、安全性に支障がある場合の姿勢崩れであると判定する
請求項１〜３のいずれか１項に記載の運転者監視装置。 The determination unit determines that a posture collapse other than a habit within a predetermined time before the time when the vehicle switches from the automatic driving state to the manual driving state is a posture collapse when the safety is hindered. The driver monitoring device according to any one of 1 to 3.

前記検出部は、前記運転者の姿勢崩れ量を検出し、
前記判定部は、前記姿勢崩れ量の大きさに応じて、前記姿勢崩れに関する通知を行う前記通知部の数を変更する
請求項１〜４のいずれか１項に記載の運転者監視装置。 The detection unit detects the amount of posture collapse of the driver, and
The driver monitoring device according to any one of claims 1 to 4, wherein the determination unit changes the number of the notification units for notifying the posture collapse according to the magnitude of the posture collapse amount.

前記判定部は、前記姿勢崩れ量が大きいほど、前記姿勢崩れに関する通知を行う前記通知部の数を増やす
請求項５に記載の運転者監視装置。 The driver monitoring device according to claim 5, wherein the determination unit increases the number of the notification units that give notifications regarding the posture collapse as the amount of the posture collapse increases.

前記判定部は、
前記姿勢崩れ量に基づいて、前記運転者の姿勢が改善したか否かを判定し、
前記運転者の姿勢が改善したと判定した場合、前記通知部に前記姿勢崩れに関する通知を停止させる
請求項５又は６に記載の運転者監視装置。 The determination unit
Based on the amount of posture collapse, it is determined whether or not the posture of the driver has improved.
The driver monitoring device according to claim 5 or 6, wherein when it is determined that the posture of the driver has improved, the notification unit stops the notification regarding the posture collapse.

前記判定部は、
前記姿勢崩れ量が閾値以上となっている場合、所定時間よりも長い間運転者が目を閉じているか否かを判定し、
所定時間よりも長い間運転者が目を閉じていると判定した場合、前記車両の運転を制御する車両制御装置に対して前記車両の運転を停止させる
請求項５〜７のいずれか１項に記載の運転者監視装置。 The determination unit
When the amount of posture collapse is equal to or greater than the threshold value, it is determined whether or not the driver has closed his eyes for a longer time than a predetermined time.
According to any one of claims 5 to 7, when it is determined that the driver has closed his eyes for a longer time than a predetermined time, the vehicle control device that controls the driving of the vehicle stops the driving of the vehicle. The described driver monitoring device.

前記判定部は、前記車両制御装置に車両を停止させる場合に、前記１以上の通知部に周囲の車両に危険を知らせるための通知を行わせる
請求項８に記載の運転者監視装置。 The driver monitoring device according to claim 8, wherein the determination unit causes the vehicle control device to notify one or more notification units of a danger to a surrounding vehicle when the vehicle is stopped.

前記判定部は、前記車両制御装置に車両を停止させる場合に、前記１以上の通知部に前記車両の他の搭乗者に危険を知らせる通知を行わせる
請求項８又は９に記載の運転者監視装置。 The driver monitoring according to claim 8 or 9, wherein when the vehicle control device stops the vehicle, the determination unit causes the one or more notification units to notify other passengers of the vehicle of the danger. Device.

前記１以上の通知部の少なくとも一部の通知部は、前記運転席に設けられるシートベルトを締め付ける第１駆動部であり、
前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記第１駆動部が前記運転席に設けられるシートベルトを締め付けることによって行われる
請求項１〜１０のいずれか１項に記載の運転者監視装置。 At least a part of the notification units of the one or more notification units is a first drive unit for tightening the seat belt provided in the driver's seat.
The notification regarding the posture collapse is performed by tightening the seat belt provided in the driver's seat by the first drive unit when it is determined that the posture collapse occurs when the safety of the vehicle running is hindered. The driver monitoring device according to any one of claims 1 to 10.

前記１以上の通知部の少なくとも一部の通知部は、前記運転席よりも前方に配置される音響部でもあり、
前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記音響部が警告音を出力することによって行われる
請求項１〜１１のいずれか１項に記載の運転者監視装置。 At least a part of the notification units of the one or more notification units is also an acoustic unit arranged in front of the driver's seat.
Any of claims 1 to 11 that the notification regarding the posture collapse is performed by outputting a warning sound from the acoustic unit when it is determined that the posture collapse is when the safety of the vehicle running is hindered. The driver monitoring device according to item 1.

前記音響部は、出力する前記警告音の音量を次第に上昇させる
請求項１２に記載の運転者監視装置。 The driver monitoring device according to claim 12, wherein the acoustic unit gradually increases the volume of the warning sound to be output.

前記１以上の通知部の少なくとも一部の通知部は、車室内を照明する照明装置でもあり、
前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記照明装置が発する光を変化させることによって行われる
請求項１〜１３のいずれか１項に記載の運転者監視装置。 At least a part of the notification units of the one or more notification units is also a lighting device for illuminating the vehicle interior.
The notification regarding the posture collapse is any of claims 1 to 13 which is given by changing the light emitted by the lighting device when it is determined that the posture collapse is when the safety of the vehicle running is hindered. The driver monitoring device according to item 1.

前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記照明装置が発する光の色調を赤くすることによって行われる
請求項１４に記載の運転者監視装置。 The notification regarding the posture collapse is described in claim 14, which is given by making the color tone of the light emitted by the lighting device red when it is determined that the posture collapse is when the safety of the vehicle running is hindered. Driver monitoring device.

前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記照明装置が発する光の明るさを、さらに明るくすることによって行われる
請求項１４に記載の運転者監視装置。 The claim regarding the posture collapse is made by further brightening the brightness of the light emitted by the lighting device when it is determined that the posture collapse is when the safety of the vehicle running is hindered. 14. The driver monitoring device according to 14.

前記１以上の通知部の少なくとも一部の通知部は、車室内を空気調和する空調装置でもあり、
前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記空調装置が車室内の温度を下げる及び運転者に風を当てることの少なくとも一方によって行われる
請求項１〜１６のいずれか１項に記載の運転者監視装置。 At least a part of the notification units of the one or more notification units is also an air conditioner that harmonizes the air inside the vehicle interior.
When it is determined that the notification regarding the posture collapse is a posture collapse when the safety of the vehicle running is hindered, at least the air conditioner lowers the temperature in the vehicle interior and blows the driver. The driver monitoring device according to any one of claims 1 to 16, which is performed by one of the two.

前記１以上の通知部の少なくとも一部の通知部は、前記運転席のハンドルを振動させる第２駆動部でもあり、
前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記第２駆動部による前記運転席のハンドルを振動させることによって行われる
請求項１〜１７のいずれか１項に記載の運転者監視装置。 At least a part of the notification units of the one or more notification units is also a second drive unit that vibrates the steering wheel of the driver's seat.
The claim regarding the posture collapse is made by vibrating the steering wheel of the driver's seat by the second drive unit when it is determined that the posture collapse is when the safety of the vehicle running is hindered. The driver monitoring device according to any one of 1 to 17.

前記１以上の通知部の少なくとも一部の通知部は、前記運転者に情報を提示可能な表示部でもあり、
前記姿勢崩れに関する通知は、前記車両走行の安全性に支障がある場合の姿勢崩れであることが判定された場合、前記車両走行の安全性に支障があることを示す内容を表示することによって行われる
請求項１〜１８のいずれか１項に記載の運転者監視装置。 At least a part of the notification units of the one or more notification units is also a display unit capable of presenting information to the driver.
When it is determined that the posture collapse is caused when the safety of the vehicle running is hindered, the notification regarding the posture collapse is performed by displaying the content indicating that the safety of the vehicle running is hindered. The driver monitoring device according to any one of claims 1 to 18.

撮像された画像を用いて車両の運転席に搭乗する運転者の姿勢崩れを検出し、
前記車両から取得する車両走行に関する状態と、検出された運転者の姿勢崩れとに基づいて、前記姿勢崩れが前記車両走行の安全性に支障がある場合の姿勢崩れであるか否かを判定し、
前記車両走行の安全性に支障がある場合の姿勢崩れであると判定した場合に、前記姿勢崩れに関する通知をすることを含む
運転者監視方法。 Using the captured image, the posture of the driver who is in the driver's seat of the vehicle is detected.
Based on the state related to the vehicle running acquired from the vehicle and the detected posture collapse of the driver, it is determined whether or not the posture collapse is a posture collapse when the safety of the vehicle traveling is hindered. ,
A driver monitoring method including notifying the posture collapse when it is determined that the posture collapse occurs when the safety of the vehicle running is hindered.