JP2022067895A - Driver management support system, processing device, and driver management support processing method - Google Patents
Driver management support system, processing device, and driver management support processing method Download PDFInfo
- Publication number
- JP2022067895A JP2022067895A JP2020176754A JP2020176754A JP2022067895A JP 2022067895 A JP2022067895 A JP 2022067895A JP 2020176754 A JP2020176754 A JP 2020176754A JP 2020176754 A JP2020176754 A JP 2020176754A JP 2022067895 A JP2022067895 A JP 2022067895A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- prediction
- malfunction
- information
- vital information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 23
- 238000003672 processing method Methods 0.000 title claims 3
- 230000007257 malfunction Effects 0.000 claims description 77
- 230000003340 mental effect Effects 0.000 claims description 46
- 230000004044 response Effects 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 41
- 238000007726 management method Methods 0.000 description 39
- 238000000034 method Methods 0.000 description 35
- 238000013500 data storage Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 9
- 208000024335 physical disease Diseases 0.000 description 6
- 208000020016 psychiatric disease Diseases 0.000 description 6
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本開示は、車両を運転する運転手の画像に基づいて運転手の心身状態の不調を管理する技術に関する。 The present disclosure relates to a technique for managing a physical and mental disorder of a driver based on an image of a driver driving a vehicle.
近年、人物を撮影した動画からその人物の心身状態を表すバイタルサインの情報（以下、バイタル情報という）を取得する技術が考えられている（非特許文献１参照）。バイタル情報は、例えば、心拍、血圧、体温、血中酸素濃度、ストレスレベル、血中アルロール濃度などである。この技術により、それを着用した人物の心拍や体表温度を測定するセンシングウェアや、指を挟んで人物の血中酸素濃度を測定するパルスオキシメーターといった専用デバイスを用いることなく、カメラで撮影した動画から精度の高いバイタル情報を取得することができる。 In recent years, a technique for acquiring vital sign information (hereinafter referred to as vital information) representing a person's mental and physical condition from a moving image of a person has been considered (see Non-Patent Document 1). Vital information includes, for example, heart rate, blood pressure, body temperature, blood oxygen concentration, stress level, blood alrol concentration, and the like. With this technology, we took pictures with a camera without using a dedicated device such as sensing wear that measures the heart rate and body surface temperature of the person wearing it, or a pulse oximeter that measures the blood oxygen concentration of the person by pinching a finger. Highly accurate vital information can be obtained from the video.
タクシー会社、バス運行業者、運送業者などでは、業務を安全に遂行するためにも、タクシー、バス、トラックなどの自動車を運転する運転手の心身状態を良好に維持管理することが重要である。ところが、運転手の業務中の心身状態は運転手本人しか把握できない。 In taxi companies, bus operators, carriers, etc., it is important to maintain and manage the physical and mental condition of drivers who drive automobiles such as taxis, buses, and trucks in order to carry out their duties safely. However, only the driver himself can grasp the physical and mental condition of the driver during work.
非特許文献１には、そこに開示された技術を、自動車内のカメラで運転手の体調を監視することへ応用することを想定していることが記載されている。しかしながら、非特許文献１は、測定された数値を実際に健康予報に利用する手法を開示しておらず、その実現を今後の課題としている。
Non-Patent
本開示のひとつの目的は、車両を運転する運転手の心身状態の維持管理を支援する技術を提供することである。 One object of the present disclosure is to provide a technique for supporting the maintenance of the physical and mental condition of a driver who drives a vehicle.
本開示のひとつの態様による運転手管理支援システムは、車両に搭載され、前記車両を運転する運転手の画像を撮影し、前記画像から前記運転手のバイタル情報を取得する車載装置と、前記バイタル情報に基づいて前記運転手の心身状態の不調を予測する処理装置と、前記運転手の不調を予測した結果に基づく情報を提示する管理装置と、を有し、前記処理装置は、学習データを学習することにより、運転手のバイタル情報を入力とし運転手の不調の予測の結果を出力とする不調予測モデルを生成し、該不調予測モデルを用いて前記運転手の心身状態の不調を予測し、前記管理装置は、前記予測された不調が実際に起こったか否かを表す実績情報を取得し、該実績情報を前記学習データとして前記処理装置に提供する。 The driver management support system according to one aspect of the present disclosure includes an in-vehicle device mounted on a vehicle, taking an image of the driver driving the vehicle, and acquiring the driver's vital information from the image, and the vital. The processing device has a processing device that predicts the disorder of the mental and physical condition of the driver based on the information, and a management device that presents information based on the result of predicting the disorder of the driver, and the processing device stores learning data. By learning, a malfunction prediction model that inputs the driver's vital information and outputs the result of the driver's malfunction prediction is generated, and the malfunction prediction model is used to predict the driver's mental and physical condition malfunction. The management device acquires performance information indicating whether or not the predicted malfunction actually occurred, and provides the performance information to the processing device as the learning data.
本開示のひとつの態様によれば、車両を運転する運転手の心身状態の維持管理を支援することができる。 According to one aspect of the present disclosure, it is possible to support the maintenance of the mental and physical condition of the driver who drives the vehicle.
以下に、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本実施形態の運転手管理支援システムのブロック図である。 FIG. 1 is a block diagram of the driver management support system of the present embodiment.
図１に示すように、ド運転手管理支援システムは、ライブレコーダー１０と、クラウドシステム２０と、事業者管理システム４０と、モバイル端末５０とを有している。ドライブレコーダー１０、事業者管理システム４０およびモバイル端末５０はそれぞれ、クラウドシステム２０と通信可能に構成されている。
As shown in FIG. 1, the driver management support system includes a
ドライブレコーダー１０は、車載装置であって、トラックやタクシー、バス、その他の自動車、あるいは鉄道などを含めた車両に搭載される。ドライブレコーダー１０は、カメラ１１とＣＰＵ１２とメモリ１３とを有している。
The
カメラ１１は、搭載される車両の車外および運転手を含めた車内の画像を撮影する。
The
ＣＰＵ１２は、ドライブレコーダー１０の動作を制御するものであって、動画バイタル制御部１４とカメラ画像制御部１５とクラウド通信制御部１６とを有している。動画バイタル制御部１４は、カメラ１１にて撮影された運転手の画像から、運転手の心身状態を表すバイタル情報を取得する。また動画バイタル制御部１４は、予め決められたしきい値を用いて、取得したバイタル情報が所定の条件を満たすかどうかを判断する。カメラ画像制御部１５は、動画バイタル制御部１４にて取得したバイタル情報が所定の条件を満たす場合に、カメラ１１にて撮影された運転手やその周辺の画像をメモリ１３内のデータ保存領域１７に保存することを指示する。クラウド通信制御部１６は、カメラ１１にて撮影した運転手の画像と動画バイタル制御部１４にて取得したバイタル情報とを、通信回線（不図示）を介してクラウドシステム２０に送信する。
The
メモリ１３には、動画バイタル制御部１４にて指示された画像が保存されたデータ保存領域１７が設けられている。
The
図２は、図１に示したドライブレコーダー１１のデータ保存領域１７の一構成例を示す図である。
FIG. 2 is a diagram showing a configuration example of the
図２に示すように、図１に示したドライブレコーダー１１のデータ保存領域１７には、カメラ１１にて撮影された動画による動画ファイルと、静止画による静止画ファイルとが、その撮影日時が付与されて登録されている。
As shown in FIG. 2, in the
クラウドシステム２０は、処理装置を構成するものであって、クラウド上に実現されている。クラウドシステム２０は、ドライブレコーダー通信制御部２１とメモリ２２とＣＰＵ２３とを有している。
The
ドライブレコーダー通信制御部２１は、ドライブレコーダー１１から送信された画像とバイタル情報と通信回線を介して受信する。
The drive recorder
メモリ２２には、データ保存領域２４が設けられているとともに、運転手の属性情報２５が保存されている。
The
図３は、図１に示したクラウドシステム２０のデータ保存領域２４の一構成例を示す図である。
FIG. 3 is a diagram showing a configuration example of the
図３に示すように、図１に示したクラウドシステム２０のデータ保存領域２４には、ドライブレコーダー１０から送信されてきた静止画ファイルとバイタル情報とが、クラウドシステム２０における受信日時およびこれらの情報を送信したドライブレコーダー１０のＩＤが付与されて保存されている。バイタル情報としては、例えば図３に示すように、心拍、血中酸素濃度、血圧、体温、ストレスレベル、血中アルコール濃度が挙げられる。これらの情報は、運転手の心身状態を判別できるものである。
As shown in FIG. 3, in the
図４は、図１に示したクラウドシステム２０のメモリ２２に保存された運転手の属性情報２５の一例を示す図である。
FIG. 4 is a diagram showing an example of
図４に示すように、図１に示したクラウドシステム２０のメモリ２２には、本システムにて管理される運転手の氏名、性別、生年月日、病歴が運転手の属性情報２５として保存されている。
As shown in FIG. 4, in the
ＣＰＵ２３は、クラウドシステム２０の動作を制御するものであって、労務管理制御部２６と運転手不調予測部３０と事業者通信制御部２７と運転手向け情報提供制御部２８と運転手通信制御部２９とを有している。労務管理制御部２６は、ドライブレコーダー１０から送信されてきたバイタル情報による数値を予め決められたしきい値と比較することで、運転手のバイタル情報のチェックを行う。また労務管理制御部２６は、事業者システム４０からの要求に応じて、メモリ２２のデータ保存領域２４に保存されている画像やバイタル情報を提供する。事業者通信制御部２７は、労務管理制御部２６から提供される画像やバイタル情報を、通信回線（不図示）を介して事業者システム４０に送信する。また事業者通信制御部２７は、労務管理制御部２６におけるチェック結果や、運転手不調予測部３０における予測結果に応じて、運転手の心身状態の不調を事業者システム４０に通知する。運転手向け情報提供制御部２８は、モバイル端末５０からの要求に応じて、メモリ２２のデータ保存領域２４に保存される過去のバイタル情報や画像によって判断される天候などの環境から運転手の傾向を抽出する。運転手通信制御部２９は、運転手向け情報提供制御部２８にて抽出された運転手の傾向を、通信回線を介してモバイル端末５０に送信する。運転手不調予測部３０は、ドライブレコーダー１０から送信されてきてデータ保存領域２４に保存されたバイタル情報に基づいて運転手の心身状態の不調を予測する。
The
図５は、図１に示したクラウドシステム２０の運転手不調予測部３０の一構成例示す図である。
FIG. 5 is a diagram showing a configuration example of the driver
図５に示すように、図１に示したクラウドシステム２０の運転手不調予測部３０は、予測制御部３１と第１予測部３２と第２予測部３３と学習部３４とを有している。
As shown in FIG. 5, the driver
第１予測部３２は、ドライブレコーダー１０から送信されてきてデータ保存領域２４に保存されたバイタル情報の指標値を所定のしきい値と比較することにより運転手の心身状態の不調を予測する。第２予測部３３は、ドライブレコーダー１０から送信されてきてデータ保存領域２４に保存されたバイタル情報を不調予測モデル３５に入力し、不調予測モデル３５の出力から、運転手の心身状態の不調の予測の結果を取得する。予測制御部３１は、事業者システム４０から提供された実績情報に基づき不調予測モデル３５による予測精度の良否を設定し、予測精度が良に設定されていれば第２予測部３３による予測結果を事業者システム４０に提供し、予測精度が不良に設定されていれば第１予測部３２による予測結果を事業者システム４０に提供する。学習部３４は、予測された不調が実際に起こったか否かを表す実績情報を学習データとして学習することにより、運転手のバイタル情報を入力とし運転手の不調の予測の結果を出力とする不調予測モデルを生成する。
The
本システムは、運転手の心身状態の不調の予測を主な対象としている。そのような運転手の不調が日常的に発生するようなものでないため、必ずしも十分な学習データが早期に得られるとは限らない。そこで、本形態では、そのような事情を考慮し、不調予測モデルの予測精度が十分でない場合も想定した構成としている。具体的には、本システムは、不調予測モデルの予測精度の良否を管理し、その予測精度が良ければ不調予測モデルによる予測結果を利用し、予測精度が良くなければバイタル情報の指標値をしきい値と比較することによる予測結果を利用する。 This system is mainly aimed at predicting the physical and mental disorders of the driver. Since such driver malfunctions do not occur on a daily basis, it is not always possible to obtain sufficient learning data at an early stage. Therefore, in this embodiment, in consideration of such circumstances, it is assumed that the prediction accuracy of the malfunction prediction model is not sufficient. Specifically, this system manages the quality of the prediction accuracy of the malfunction prediction model, uses the prediction result of the malfunction prediction model if the prediction accuracy is good, and uses the index value of vital information if the prediction accuracy is not good. Use the prediction result by comparing with the threshold value.
これにより、不調予測モデルにより十分な予測精度が得られる場合とそうでない場合のいずれにおいても、適切な予測を可能にする。また、本形態では、運転者の心身状態の不調を画像から直接予測するのではなく、一旦バイタル情報を算出し、そのバイタル情報に基づいて不調を予測するので、バイタル情報の指標値をしきい値と比較する比較的単純な予測手法の方も、バイタル情報と運転手の状態との関係に関する既存の知見を利用して実用に十分な精度の予測が可能である。 This enables appropriate prediction in both cases where sufficient prediction accuracy is obtained by the malfunction prediction model and when it is not. Further, in this embodiment, the vital information is calculated once and the vital information is used to predict the vital condition, instead of directly predicting the physical and mental condition of the driver from the image. Therefore, the index value of the vital information is used. Even a relatively simple prediction method that compares with the value can make a prediction with sufficient accuracy for practical use by using the existing knowledge about the relationship between the vital information and the driver's condition.
事業者システム４０は、管理装置を構成するものであって、クラウド通信制御部４１とデータ保存領域４２と労務状況管理部４３と業務管理システム４４とを有している。
The
クラウド通信制御部４１は、クラウドシステム２０に対して、バイタル情報や画像の送信の要求、またはこれらを受信したり、運転手の心身状態の不調発生予測を受信したり、予測された不調が実際に起こったか否かを示す実績情報を送信したりする。データ保存領域４２には、クラウド通信制御部４１にて受信した情報や労務状況管理部４３にて管理される情報が保存されている。労務状況管理部４３は、クラウドシステム２０に対して、バイタル情報や画像の送信を要求したり、クラウドシステム２０から送信されてきてデータ保存領域４２に保存されたバイタル情報を表示したり、予測された不調が実際に起こったか否かを示す実績情報を収集したりする。業務管理システム４４は、運転手の業務を管理する。
The cloud
モバイル端末５０は、クラウド通信制御部５１とフィジカルメンタル情報表示部５２とを有している。クラウド通信制御部５１は、運転手の操作によって、クラウドシステム２０に対して運転手の傾向を要求し、クラウドシステム２０から送信されてくる運転手の傾向やバイタル情報を受信する。フィジカルメンタル表示部５２は、クラウド通信制御部５１にて受信した運転手の傾向をディスプレイに表示する。
The
以下に、上記のように構成された運転手管理支援システムにおける処理について説明する。 The processing in the driver management support system configured as described above will be described below.
まず、ドライブレコーダー１０における処理について説明する。
First, the process in the
図６は、図１に示した運転手管理支援システムのドライブレコーダー１０における処理を説明するためのフローチャートである。
FIG. 6 is a flowchart for explaining the process in the
ドライブレコーダー１０においては、カメラ１１にて車内および車外の画像が撮影されている（ステップＳ１０１）。この画像としては、動画および静止画が含まれている。
In the
ドライブレコーダー１０のカメラ１１にて画像が撮影されると、動画バイタル制御部１４において、カメラ１１にて撮影された運転手の画像から、運転手の心身状態を表すバイタル情報が算出されることで取得される（ステップＳ１０２）。
When an image is taken by the
動画バイタル制御部１４においては、バイタル情報が取得されると、取得されたバイタル情報による数値が、予め決められたしきい値と比較され、取得したバイタル情報が所定の条件を満たすかどうかが判断される（ステップＳ１０３）。
When the vital information is acquired, the video
動画バイタル制御部１４にて取得されたバイタル情報による数値が、予め決められたしきい値を超えている場合、カメラ画像制御部１５において、カメラ１１にて撮影された運転手やその周辺の画像をメモリ１３内のデータ保存領域１７に保存することが指示され（ステップＳ１０４）、これらの画像がメモリ１３のデータ保存領域１７に保存される（ステップＳ１０５）。
When the numerical value based on the vital information acquired by the moving image
その後、クラウド通信制御部１６において、カメラ１１にて撮影された運転手の画像と動画バイタル制御部１４にて取得されたバイタル情報とが、通信回線を介してクラウドシステム２０に送信される（ステップＳ１０６）。その際、画像とバイタル情報とが、ドライブレコーダー１０を識別可能なドラレコＩＤが付与されてクラウドシステム２０に送信されることになる。
After that, in the cloud
一方、動画バイタル制御部１４にて取得されたバイタル情報による数値が、予め決められたしきい値以下である場合は、カメラ１１にて撮影された運転手やその周辺の画像がメモリ１３内に保存されずに、カメラ１１にて撮影された運転手の画像と動画バイタル制御部１４にて取得されたバイタル情報とが、通信回線を介してクラウドシステム２０に送信される。
On the other hand, when the numerical value based on the vital information acquired by the moving image
このように、ドライブレコーダー１０において、カメラ１１にて撮影された画像から算出されたバイタル情報が所定の条件を満たす場合、その画像を保存する構成とすることで、ドライブレコーダー１０のメモリ１３のデータ保存領域１７を有効に利用することができる。
As described above, when the vital information calculated from the image taken by the
次に、クラウドシステム２０にて運転手の心身状態の不調を判断して事業者システム４０に通知する処理について説明する。
Next, a process of determining the mental and physical condition of the driver in the
図７は、図１に示したクラウドシステム２０にて運転手の心身状態の不調を判断して事業者システム４０に通知する処理を説明するためのフローチャートであり、運転手不調予測部３０における予測を利用しない場合の処理を示す。
FIG. 7 is a flowchart for explaining the process of determining the mental and physical condition of the driver in the
ドライブレコーダー１０から送信されたバイタル情報と画像とがクラウドシステム２０のドライブレコーダー通信制御部２１にて受信されると（ステップＳ２０１）、受信したバイタル情報と画像とがメモリ２２のデータ保存領域２４に保存される（ステップＳ２０２）。
When the vital information and the image transmitted from the
また、ＣＰＵ２３の労務管理制御部２６において、まず、運転手の属性情報２５が参照され、受信されたバイタル情報による数値が予め決められたしきい値と比較されることで、運転手のバイタル情報のチェックが行われる（ステップＳ２０３）。
Further, in the labor
そして、受信されたバイタル情報による数値が予め決められたしきい値よりも大きな場合（ステップＳ２０４）、事業者通信制御部２７から運転手の心身状態の不調が事業者システム４０に通知される（ステップＳ２０５）。
Then, when the numerical value based on the received vital information is larger than the predetermined threshold value (step S204), the operator
その後、ステップＳ２０１におけるドライブレコーダー１０からのバイタル情報と画像の受信処理に戻る（ステップＳ２０６）。
After that, the process returns to the process of receiving the vital information and the image from the
また、受信されたバイタル情報による数値が予め決められたしきい値以下の場合は（ステップＳ２０４）、ステップＳ２０５における処理が行われずにステップＳ２０６の処理に移行する。 If the numerical value based on the received vital information is equal to or less than a predetermined threshold value (step S204), the process in step S205 is not performed and the process proceeds to step S206.
なお、本形態においては、運転手不調予測部３０にて運転手の心身状態の予測を行うことが基本となるが、運転手不調予測部３０における予測は学習モデルを用いて行うため、一定のデータが蓄積されている必要がある。そのため、一定のデータが蓄積されるまでは、初期処理として、図７に示した処理が行われることになる。
In this embodiment, the driver's mental and physical condition is basically predicted by the driver's
図８は、図１に示したクラウドシステム２０にて運転手の心身状態の不調を判断して事業者システム４０に通知する処理を説明するためのフローチャートであり、運転手不調予測部３０における予測を利用する場合の処理を示す。
FIG. 8 is a flowchart for explaining the process of determining the mental and physical condition of the driver in the
ドライブレコーダー１０から送信されたバイタル情報と画像とがクラウドシステム２０のドライブレコーダー通信制御部２１にて受信されると（ステップＳ３０１）、受信したバイタル情報と画像とがメモリ２２のデータ保存領域２４に保存される（ステップＳ３０２）。
When the vital information and the image transmitted from the
また、運転手不調予測部３０の予測制御部３１において、予測精度の設定が良否のいずれかかが判断され（ステップ３０３）、良い場合は、運転手不調予測部３０の第２予測部３３において、ドライブレコーダー１０から送信されてきてデータ保存領域２４に保存されたバイタル情報が不調予測モデル３５に入力され、不調予測モデル３５の出力から、運転手の心身状態の不調の予測の結果が取得される（ステップＳ３０４）。
Further, the
予測の結果において、運転手の心身状態の不調が予測される場合（ステップＳ３０５）、労務管理制御部２６において運転手の不調が検知され（ステップＳ３０６）、運転手の心身状態の不調が事業者通信制御部２７から事業者システム４０に通知される（ステップＳ３０７）。
When the driver's mental and physical condition is predicted as a result of the prediction (step S305), the labor
その後、ステップＳ３０１におけるドライブレコーダー１０からのバイタル情報と画像の受信処理に戻る（ステップＳ３０８）。
After that, the process returns to the process of receiving the vital information and the image from the
一方、運転手の心身状態の不調が予測されない場合は（ステップＳ３０５）、ステップＳ３０６，Ｓ３０７における処理が行われずにステップＳ３０８の処理に移行する。 On the other hand, if the driver's physical and mental condition is not predicted (step S305), the process in steps S306 and S307 is not performed and the process proceeds to step S308.
また、運転手不調予測部３０の予測制御部３１において、予測精度の設定が不良であると判断された場合は（ステップ３０３）、運転手不調予測部３０の学習部３４において、運転手の属性情報２５と、データ保存領域２４に保存されているバイタル情報と、事業者システム４０から通知されて労務管理制御部２６にて管理されている実績情報とを学習データとして学習することにより、運転手のバイタル情報を入力とし運転手の不調の予測の結果を出力とする不調予測モデルを生成する（ステップＳ３０９）。
Further, when the
その後、運転手不調予測部３０の予測制御部３１において、予測精度の設定が良に設定され（ステップＳ３１０）、ステップS３０３における処理に戻る。
After that, in the
次に、事業者システム４０にて運転手のバイタル情報を確認する際の処理について説明する。
Next, the process for confirming the driver's vital information in the
図９は、図１に示した事業者システム４０にて運転手のバイタル情報を確認する際の処理を説明するためのフローチャートである。
FIG. 9 is a flowchart for explaining a process for confirming the driver's vital information in the
図１に示した事業者システム４０にて運転手のバイタル情報を確認する場合はまず、事業者システム４０の労務状況管理部４３において、クラウド通信制御部４１を介してクラウドシステム２０にアクセスが行われ、バイタル情報や画像の収集が指定されると（ステップ４０１）、クラウドシステム２０の事業者通信制御部２７において、事業者システム４０からのバイタル情報や画像の収集要求が受信される（ステップＳ４０２）。これは、例えば、ドライブレコーダー１０のドラレコＩＤが指定されることで行われる。
When confirming the driver's vital information in the
すると、クラウドシステム２０の労務管理制御部２６において、データ保存領域２４に保存されているデータのうち、指定されたドラレコＩＤに対応するバイタル情報と画像とが抽出され（ステップＳ４０３）、事業者通信制御部２７から事業者システム４０に送信される（ステップＳ４０４）。
Then, the labor
事業者システム４０においては、クラウドシステム２０から送信されたバイタル情報と画像とがクラウド通信制御部４１にて受信されると（ステップＳ４０５）、受信されたバイタル情報と画像とがデータ保存領域４２に保存される（ステップＳ４０６）。この際、労務状況管理部４３においては、業務管理システム４４にて運転手とその運転手が運転する車両に搭載されたドライブレコーダーのドラレコＩＤとが対応づけられているため、ドラレコＩＤに対応する運転手のバイタル情報および画像としてデータ保存領域４２に保存することができる。
In the
また、労務状況管理部４３の制御によって、クラウドシステム２０から送信されてきたバイタル情報などがディスプレイなどに表示される（ステップ４０７）。
Further, under the control of the labor
図１０および図１１は、図１に示した事業者システム４０の労務状況管理部４３の制御によってディスプレイなどに表示される情報の一例を示す図である。
10 and 11 are diagrams showing an example of information displayed on a display or the like under the control of the labor
図１０に示すように、図１に示した事業者システム４０の労務状況管理部４３の制御によって、運転手のバイタル情報が経時的にグラフ表示される。また、図１１に示すように、グラフ上の所定のポイントをクリックすることで、その時点でのバイタル情報が表示されるとともに画像を表示することも考えられる。
As shown in FIG. 10, the driver's vital information is displayed in a graph over time under the control of the labor
次に、クラウドシステム２０から事業者システム４０に運転手の心身状態の不調が通知された後の処理について説明する。
Next, the processing after the
図１２は、図１に示したクラウドシステム２０から事業者システム４０に運転手の心身状態の不調が通知された後の処理を説明するためのフローチャートである。
FIG. 12 is a flowchart for explaining the processing after the
図７に示した処理におけるステップＳ２０５や図８に示した処理におけるステップＳ３０７にて運転手の心身状態の不調がクラウドシステム２０から事業者システム４０に通知され（ステップＳ５０１）、この通知が事業者システム４０のクラウド通信制御部４１にて受信されると（ステップＳ５０２）、事業者システム４０においてはまず、通知された運転手の不調に関する情報がデータ保存領域４２に保存される（ステップＳ５０３）。
In step S205 in the process shown in FIG. 7 and step S307 in the process shown in FIG. 8, the
また、事業者システム４０においては、労務状況管理部４３において、不調が通知された運転手に対して現在の心身状態が確認される（ステップＳ５０４）。これは、予測された不調が実際に起こったか否かを表す実績情報となる。
Further, in the
運転手に確認された心身状態からなる実績情報は労務状況管理部４３において登録されるとともに、クラウド通信制御部４１にてクラウドシステム２０に送信される（ステップＳ５０５）。
The actual information consisting of the mental and physical states confirmed by the driver is registered in the labor
事業者システム４０から送信された実績情報がクラウドシステム２０の事業者通信制御部２７にて受信されると（ステップＳ５０６）、まず受信された実績情報がメモリ２２のデータ保存領域２４に保存される（ステップＳ５０７）。
When the performance information transmitted from the
また、運転手不調予測部３０の予測制御部３１において予測精度が判定される（ステップＳ５０８）。これは、ステップＳ５０１にて事業者システム４０に通知された運転手の心身状態の不調を表す情報と、ステップＳ５０６にて事業者システム４０から受信された実績情報とを照合することで行う。
Further, the prediction accuracy is determined by the
ステップＳ５０１にて事業者システム４０に通知された運転手の心身状態の不調を表す情報と、ステップＳ５０６にて事業者システム４０から受信された実績情報とがほぼ一致する場合は、予測精度が良いため予測精度が「良」に設定される（ステップＳ５０９）。
If the information indicating the driver's physical and mental condition notified to the
一方、ステップＳ５０１にて事業者システム４０に通知された運転手の心身状態の不調を表す情報と、ステップＳ５０６にて事業者システム４０から受信された実績情報とが大きく異なる場合は、予測精度が不良であるため予測精度が「不良」に設定される（ステップＳ５１０）。
On the other hand, if the information indicating the driver's physical and mental condition notified to the
このように、クラウドシステム２０は、予測精度が不良に設定されている間にも第２予測部３３が不調予測モデル３５の出力から運転手の心身状態の不調の予測の結果を取得し、第１予測部３２にて不調が予測されたときに得られる実績情報を、第２予測部３３による予測の結果と照合して予測精度の良否を設定する。これにより、第１予測部３２による予測結果を用いている間に第２予測部３３による予測精度を判定し、設定することができる。
In this way, in the
また、クラウドシステム２０が、予測精度が不良に設定されている間にも第２予測部３３が不調予測モデル３５の出力から運転手の心身状態の不調の予測の結果を取得し、第１予測部３１にて不調が予測されたときに得られる実績情報を、第２予測部３３による予測の結果と組み合わせて学習データとしてもよい。これにより、第１予測部３２による予測結果を用いている間に不調予測モデル３５の学習を行うことができる。
Further, even while the
次に、運転手が自分のバイタル傾向を確認する際の処理について説明する。 Next, the process when the driver confirms his / her vital tendency will be described.
図１３は、図１に示したモバイル端末５０においてバイタル傾向を確認する際の処理を説明するためのフローチャートである。
FIG. 13 is a flowchart for explaining a process for confirming the vital tendency in the
運転手が自分のバイタル傾向を確認する場合は、モバイル端末５０からクラウドシステム２０に対してクラウド通信制御部１６にてアクセスが行われると（ステップＳ６０１）、クラウドシステム２０の運転手通信制御部２９において、運転手からの傾向確認要求が受信される（ステップＳ６０２）。
When the driver confirms his / her vital tendency, when the cloud
すると、クラウドシステム２０の運転手向け情報提供制御部２８において、データ保存領域２４に保存されているバイタル情報と画像が抽出され、バイタル情報やその際の天候などから運転手の傾向が抽出される（ステップＳ６０３）。例えば、雨天の場合に運転手の心身状態が不安定となるなどの傾向が抽出されることになる。このように、クラウドシステム２０において、データ保存領域２４に保存されている画像から車両の周囲の環境を特定し、その環境とバイタル情報との相関に基づいて運転手の傾向を特定するので、環境情報とバイタル情報との相関に基づく運転手の傾向を示す情報を得ることができる。
Then, the information
抽出された運転手の傾向を示すデータは運転手通信制御部２９から送信され（ステップＳ６０４）、モバイル端末５０のクラウド通信制御部５１にて受信される（ステップＳ６０５）。
The extracted data indicating the driver's tendency is transmitted from the driver communication control unit 29 (step S604) and received by the cloud
その後、受信された傾向情報は、モバイル端末５０のフィジカルメンタル表示部５２に表示されることになる（ステップＳ６０６）。
After that, the received tendency information will be displayed on the physical
このように、クラウドシステム２０において、運転手が操作するモバイル端末５０からの要求に応じて運転手の傾向を示す傾向情報をモバイル端末５０に送信するので、運転手が自分の傾向情報をモバイル端末５０を用いて閲覧することができる。
In this way, in the
上述したように、本形態は、不調予測モデルにより運転手の不調を予測し、運転手へ確認し、確認の結果を不調予測モデルの学習データとして反映するので、自動車を運転する運転手の心身の状態の維持管理することが可能となる。 As described above, in this embodiment, the driver's malfunction is predicted by the malfunction prediction model, confirmed to the driver, and the confirmation result is reflected as the learning data of the malfunction prediction model. It is possible to maintain and manage the state of.
１０…ドライブレコーダー、１１…カメラ、１２，２３…ＣＰＵ、１３，２２…メモリ、１４…動画バイタル制御部、１５…カメラ画像制御部、１６，４１，５１…クラウド通信制御部、１７，２４，４２…データ保存領域、２０…クラウドシステム、２１…ドライブレコーダー通信制御部、２５…運転手の属性情報、２６…労務管理制御部、２７…事業者通信制御部、２８…運転手向け情報提供制御部、２９…運転手通信制御部、３０…運転手不調予測部、３１…予測制御部、３２…第１予測部、３３…第２予測部、３４…学習部、４０…事業者システム、４３…労務状況管理部、４４…業務管理システム、５０…モバイル端末、５２…フィジカルメンタル情報表示部 10 ... drive recorder, 11 ... camera, 12, 23 ... CPU, 13, 22 ... memory, 14 ... video vital control unit, 15 ... camera image control unit, 16, 41, 51 ... cloud communication control unit, 17, 24, 42 ... Data storage area, 20 ... Cloud system, 21 ... Drive recorder communication control unit, 25 ... Driver attribute information, 26 ... Labor management control unit, 27 ... Business communication control unit, 28 ... Information provision control for drivers Unit, 29 ... Driver communication control unit, 30 ... Driver malfunction prediction unit, 31 ... Prediction control unit, 32 ... First prediction unit, 33 ... Second prediction unit, 34 ... Learning unit, 40 ... Business system, 43 ... Labor status management department, 44 ... Business management system, 50 ... Mobile terminal, 52 ... Physical mental information display department
Claims (10)
前記バイタル情報に基づいて前記運転手の心身状態の不調を予測する処理装置と、
前記運転手の不調を予測した結果に基づく情報を提示する管理装置と、を有し、
前記処理装置は、学習データを学習することにより、運転手のバイタル情報を入力とし運転手の不調の予測の結果を出力とする不調予測モデルを生成し、該不調予測モデルを用いて前記運転手の心身状態の不調を予測し、
前記管理装置は、前記予測された不調が実際に起こったか否かを表す実績情報を取得し、該実績情報を前記学習データとして前記処理装置に提供する、
運転手管理支援システム。 An in-vehicle device mounted on a vehicle, taking an image of the driver driving the vehicle, and acquiring vital information of the driver from the image.
A processing device that predicts the mental and physical condition of the driver based on the vital information, and
It has a management device that presents information based on the result of predicting the driver's malfunction.
By learning the training data, the processing device generates a malfunction prediction model that inputs the driver's vital information and outputs the result of the driver's malfunction prediction, and uses the malfunction prediction model to generate the driver's malfunction prediction model. Predicting the physical and mental condition of
The management device acquires performance information indicating whether or not the predicted malfunction actually occurred, and provides the performance information as the learning data to the processing device.
Driver management support system.
前記バイタル情報の指標値を所定のしきい値と比較することにより前記運転手の心身状態の不調を予測する第１予測部と、
前記バイタル情報を前記不調予測モデルに入力し、前記不調予測モデルの出力から、前記運転手の心身状態の不調の予測の結果を取得する第２予測部と、
前記実績情報に基づき前記不調予測モデルによる予測精度の良否を設定し、前記予測精度が良に設定されていれば前記第２予測部による予測結果を前記管理装置に提供し、前記予測精度が不良に設定されていれば前記第１予測部による予測結果を前記管理装置に提供する予測制御部と、
を有する、
請求項１に記載の運転手管理支援システム。 The processing device is
The first prediction unit that predicts the mental and physical condition of the driver by comparing the index value of the vital information with a predetermined threshold value, and
A second prediction unit that inputs the vital information into the malfunction prediction model and acquires the result of prediction of the malfunction of the driver's mental and physical condition from the output of the malfunction prediction model.
Based on the actual information, the quality of the prediction accuracy by the malfunction prediction model is set, and if the prediction accuracy is set to be good, the prediction result by the second prediction unit is provided to the management device, and the prediction accuracy is poor. If it is set to, the prediction control unit that provides the prediction result by the first prediction unit to the management device, and
Have,
The driver management support system according to claim 1.
請求項２に記載の運転手管理支援システム。 In the processing device, even while the prediction accuracy is set to be poor, the second prediction unit acquires the result of prediction of the driver's mental and physical condition from the output of the malfunction prediction model, and the first. The performance information obtained when a malfunction is predicted by the prediction unit is collated with the result of prediction by the second prediction unit to set the quality of the prediction accuracy.
The driver management support system according to claim 2.
請求項２に記載の運転手管理支援システム。 In the processing device, even while the prediction accuracy is set to be poor, the second prediction unit acquires the result of prediction of the driver's mental and physical condition from the output of the malfunction prediction model, and the first. The actual information obtained when a malfunction is predicted by the prediction unit is combined with the prediction result by the second prediction unit to obtain the learning data.
The driver management support system according to claim 2.
請求項１に記載の運転手管理支援システム。 The in-vehicle device calculates the vital information from the image, and stores the image when the vital information satisfies a predetermined condition.
The driver management support system according to claim 1.
請求項５に記載の運転手管理支援システム。 The processing device identifies the environment around the vehicle from the image, and identifies the driver's tendency based on the correlation between the environment and the vital information.
The driver management support system according to claim 5.
前記処理装置は、前記モバイル端末からの要求に応じて前記傾向を示す傾向情報を前記モバイル端末に送信する、
請求項６に記載の運転手管理支援システム。 Further having a mobile terminal operated by the driver,
The processing device transmits trend information indicating the tendency to the mobile terminal in response to a request from the mobile terminal.
The driver management support system according to claim 6.
請求項１に記載の運転手管理支援システム。 The processing device is realized on the cloud.
The driver management support system according to claim 1.
前記管理装置により取得された、前記予測された不調が実際に起こったか否かを表す実績情報を、学習データとして学習することにより、運転手のバイタル情報を入力とし運転手の不調の予測の結果を出力とする不調予測モデルを生成する学習部と、
前記不調予測モデルを用いて前記運転手の不調を予測する予測部と、
を有する処理装置。 An in-vehicle device mounted on an automobile, which captures a moving image of a driver driving the automobile and acquires vital information of the driver from the moving image, and presents information based on the result of predicting a malfunction of the driver. It is a processing device that can communicate with the management device and predicts the driver's malfunction based on the vital information.
By learning the actual information indicating whether or not the predicted malfunction actually occurred, which is acquired by the management device, as learning data, the driver's vital information is input and the result of the prediction of the driver's malfunction. A learning unit that generates a malfunction prediction model that outputs
A prediction unit that predicts the driver's malfunction using the malfunction prediction model,
Processing equipment with.
前記管理装置により取得された、前記予測された不調が実際に起こったか否かを表す実績情報を、学習データとして学習することにより、運転手のバイタル情報を入力とし運転手の不調の予測の結果を出力とする不調予測モデルを生成し、
前記不調予測モデルを用いて前記運転手の心身状態の不調を予測する、
運転手管理支援処理方法。 An in-vehicle device mounted on a car and capturing a video of the driver driving the car and acquiring the driver's vital information from the video, and presenting information based on the result of predicting the driver's malfunction. It is a driver management support processing method executed by a processing device that can communicate with a management device and predicts a driver's malfunction based on the vital information.
By learning the actual information indicating whether or not the predicted malfunction actually occurred, which is acquired by the management device, as learning data, the driver's vital information is input and the result of the prediction of the driver's malfunction. Generates a malfunction prediction model with
Using the malfunction prediction model, the driver's mental and physical condition is predicted.
Driver management support processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020176754A JP2022067895A (en) | 2020-10-21 | 2020-10-21 | Driver management support system, processing device, and driver management support processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020176754A JP2022067895A (en) | 2020-10-21 | 2020-10-21 | Driver management support system, processing device, and driver management support processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022067895A true JP2022067895A (en) | 2022-05-09 |
Family
ID=81455989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020176754A Pending JP2022067895A (en) | 2020-10-21 | 2020-10-21 | Driver management support system, processing device, and driver management support processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022067895A (en) |
-
2020
- 2020-10-21 JP JP2020176754A patent/JP2022067895A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11477628B2 (en) | Community-based response system | |
| CN110192218B (en) | Computer-assisted dispatch system and method for assessing the condition and fitness of respondents using biometric features | |
| CN112236788A (en) | Personal protection device and safety management system with active worker sensing and evaluation | |
| US20130013776A1 (en) | Information processing device, information processing system, information processing method, and information storage medium | |
| CN113874889A (en) | Self-maintenance autonomous vehicle procedure | |
| JP6714036B2 (en) | Management support system | |
| CN113241160A (en) | Intelligent medical care service management method and system based on intelligent terminal | |
| Adamu et al. | An integrated IoT system pathway for smart cities | |
| WO2023096815A1 (en) | Systems and methods for collision detection using an electric vehicle charging station | |
| CN111178816B (en) | Dormitory monitoring management method and device, electronic equipment and storage medium | |
| US20180315131A1 (en) | User-aware interview engine | |
| WO2021241550A1 (en) | Video management device, video management method, and program | |
| US20240041372A1 (en) | Psychomotor vigilance testing for persons tasked with monitoring autonomous vehicles | |
| CN112519787A (en) | Vehicle control system and vehicle | |
| JP2022067895A (en) | Driver management support system, processing device, and driver management support processing method | |
| JP2009003503A (en) | Method of providing safe driving education and automobile insurance information system using it | |
| CN106469244B (en) | Medical printing management system and method | |
| US20230331239A1 (en) | Method, apparatus and vehicle for adaptively evaluating a driver's performance in safe driving | |
| KR20200062003A (en) | Systems and methods for protecting social vulnerable groups | |
| KR102645192B1 (en) | Electronic device for managing bedsores based on artificial intelligence model and operating method thereof | |
| US20190050765A1 (en) | Information processing system, information processing method, and client | |
| WO2020215976A1 (en) | Traffic accident handling method and device | |
| WO2021095153A1 (en) | Driver anomaly response system, driver anomaly response method, and program | |
| US11033227B1 (en) | Digital eyewear integrated with medical and other services | |
| JP2022082304A (en) | Worker management support system and worker management support processing method |