JP2024010522A

JP2024010522A - Condition determination device, and condition determination method

Info

Publication number: JP2024010522A
Application number: JP2022111903A
Authority: JP
Inventors: 龍一下釜; Ryuichi Shimogama
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2022-07-12
Filing date: 2022-07-12
Publication date: 2024-01-24

Abstract

To provide a condition determination device capable of analyzing accurately an abnormal condition of a driver from driving posture and movements of the driver even in a situation where facial recognition function deteriorates by detecting driving posture and movements of the driver using motion capture and determining the abnormal condition of the driver, and a condition determination method.SOLUTION: A driver condition determination device 201 includes: a motion capture video processing unit 207 that calculates the position of each part of a driver with motion capture from images of the driver picked up by a camera; and a condition determination unit 209 that determines the condition of the driver based on the position of each part of the driver obtained from motion capture video processing unit 207.SELECTED DRAWING: Figure 2

Description

本発明は、ドライバーの状態を判定する状態判定装置に関する。 The present invention relates to a condition determining device that determines the condition of a driver.

車両を運転中に、ドライバーの状態が漫然、居眠り、急病等の異常状態にあると、ドライバーは車両を適切に運転できず、事故を引き起こす可能性が高まる。そのため、自車両及び他車両の安全を確保するために、ドライバーの異常状態を検出する装置が提案されている。 If a driver is in an abnormal state while driving a vehicle, such as being absent-minded, falling asleep, or suffering from a sudden illness, the driver will not be able to properly drive the vehicle, increasing the possibility of causing an accident. Therefore, in order to ensure the safety of one's own vehicle and other vehicles, devices have been proposed that detect abnormal conditions of the driver.

例えば、ドライバーの異常状態を検出するシステムとしてはドライバーモニタリングによる顔認識から異常状態を判定するものがある。また、モーションキャプチャーによって運転操作の特徴点の動きを検出するモーションキャプチャーシステムも提案されている。 For example, as a system for detecting an abnormal state of a driver, there is a system that determines the abnormal state from facial recognition through driver monitoring. Additionally, a motion capture system has been proposed that uses motion capture to detect the movements of feature points of driving operations.

本技術分野の背景技術として、以下の先行技術がある。特許文献１（特開２０１９－１４４０２４号公報）には、カメラ撮影視野の死角となる位置マーカーと、カメラ撮影視野内にあって位置マーカーを補完する３個の位置補完マーカーとを被検体に装着し、各マーカーの相対位置情報を取得し、位置補完マーカーを角度の異なる位置に配置した複数のカメラで時系列的に撮影し、複数のカメラで時系列的に得られた撮影情報より、位置補完マーカーの動きを三角測量の原理で計測して位置補完マーカーの三次元時系列位置情報を得、取得された各マーカーの相対位置情報とカメラより得られる現在時点での位置補完マーカーの三次元時系列位置情報とを最小二乗法の原理で計算し位置マーカーの三次元時系列位置情報を算出するモーションキャプチャーシステムが記載されている。 As background technology in this technical field, there is the following prior art. Patent Document 1 (Japanese Unexamined Patent Application Publication No. 2019-144024) discloses that a position marker that is a blind spot in the camera's field of view and three position complementary markers that are within the camera's field of view and complement the position marker are attached to a subject. Then, the relative position information of each marker is obtained, and the position complementary markers are photographed chronologically with multiple cameras placed at different angles. The movement of the complementary marker is measured using the principle of triangulation to obtain three-dimensional time-series position information of the position complementary marker, and the relative position information of each marker obtained and the three-dimensional position complementary marker at the current time obtained from the camera are A motion capture system is described that calculates three-dimensional time-series position information of a position marker by calculating time-series position information using the least squares method principle.

特開２０１９－１４４０２４号公報JP 2019-144024 Publication

前述した顔認識による異常状態の判定では、ドライバーの眼や顔の部品から異常状態を判定しているため、マスクやサングラスの着用時には顔認識機能が低下し、ドライバーの異常状態を検出できない可能性がある。 In the above-mentioned method of determining abnormal conditions using facial recognition, abnormal conditions are determined based on the driver's eyes and facial parts, so if a mask or sunglasses are worn, the facial recognition function may be degraded and abnormal conditions of the driver may not be detected. There is.

本発明は、ドライバーの運転姿勢や動きをモーションキャプチャーで検出し、ドライバーの異常状態を判定して、顔認識機能低下状況下においても、ドライバーの運転姿勢や動きからドライバーの異常状態を正確に分析することを目的とする。 The present invention detects the driver's driving posture and movements using motion capture, determines the driver's abnormal condition, and accurately analyzes the driver's abnormal condition from the driver's driving posture and movements even when facial recognition function is degraded. The purpose is to

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、ドライバーの状態を判定する状態判定装置であって、カメラが撮影したドライバーの映像から、モーションキャプチャーにより、ドライバーの各部位の位置を算出する映像処理部と、前記映像処理部から取得したドライバーの各部位の位置に基づいてドライバーの状態を判定する状態判定部とを有することを特徴とする。 A typical example of the invention disclosed in this application is as follows. That is, it is a condition determination device that determines the condition of the driver, and includes an image processing section that calculates the position of each part of the driver by motion capture from an image of the driver taken by a camera, and a driver that is acquired from the image processing section. The vehicle is characterized by having a state determination unit that determines the state of the driver based on the position of each part of the driver.

本発明の一態様によれば、高精度にドライバーの異常状態を判定できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。 According to one aspect of the present invention, an abnormal state of a driver can be determined with high accuracy. Problems, configurations, and effects other than those described above will be made clear by the description of the following examples.

実施例１の異常状態判定処理のフローチャートである。7 is a flowchart of abnormal state determination processing according to the first embodiment. 実施例１のドライバー状態判定装置の構成を示す図である。1 is a diagram showing the configuration of a driver state determination device according to a first embodiment; FIG. 実施例１の異常状態判定処理の変形例のフローチャートである。7 is a flowchart of a modification of the abnormal state determination process of the first embodiment.

以下、添付された図面を参照し、本発明を実施するための実施例について詳述する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.

本発明の実施例は、前述した課題を解決するためのドライバー状態判定装置２０１であり、車室内上部に設置されたモーションキャプチャーカメラによってドライバーの運転姿勢や動きを撮影し、人体の特徴的な部位（特徴点）の位置を経時的に記録する。そして、ドライバーの運転操作情報及び地図情報などを参照して、ドライバーの異常状態を判定する。 The embodiment of the present invention is a driver condition determination device 201 for solving the above-mentioned problem, which photographs the driver's driving posture and movements with a motion capture camera installed in the upper part of the vehicle interior, and captures characteristic parts of the human body. (minutiae points) positions are recorded over time. Then, the abnormal state of the driver is determined by referring to the driver's driving operation information, map information, and the like.

［実施例１］
図１は、本発明の実施例１のドライバー状態判定装置２０１が実行する異常状態判定処理のフローチャートであり、図２は、実施例１のドライバー状態判定装置２０１の構成を示す図である。 [Example 1]
FIG. 1 is a flowchart of an abnormal state determination process executed by the driver state determination device 201 according to the first embodiment of the present invention, and FIG. 2 is a diagram showing the configuration of the driver state determination device 201 according to the first embodiment.

図２に示すように、ドライバー状態判定装置２０１は、ＥＣＵ２０２及びモーションキャプチャーカメラ２０３を有しており、ドライバーの異常状態を判定する。ドライバーの異常状態とは、ドライバーが適切な認識、判断、操作の少なくとも一つを実施することができない状態である。例えば、漫然、居眠り、体調異常等がドライバーの異常状態を引き起こす。ＥＣＵ２０２には、アクセル情報２０４、ブレーキ情報２０５及びハンドル情報２０６が入力される。アクセル情報２０４、ブレーキ情報２０５及びハンドル情報２０６の全てがＥＣＵ２０２に入力されなくても、いずれか一つ以上が入力されてもよい。 As shown in FIG. 2, the driver condition determination device 201 includes an ECU 202 and a motion capture camera 203, and determines the abnormal condition of the driver. The abnormal state of the driver is a state in which the driver is unable to perform at least one of appropriate recognition, judgment, and operation. For example, absentmindedness, falling asleep, abnormal physical condition, etc. cause an abnormal state of the driver. Accelerator information 204, brake information 205, and steering wheel information 206 are input to the ECU 202. Even if not all of the accelerator information 204, brake information 205, and steering wheel information 206 are input to the ECU 202, one or more of them may be input.

モーションキャプチャーカメラ２０３は、人物や物体の動きを撮影するカメラである。モーションキャプチャーカメラ２０３が撮影したドライバーの映像はドライバーの運転姿勢や動きを取得するために用いられる。アクセル情報２０４は、アクセルペダルの踏み込み量の検出値であり、急発進を解析するために用いられ、アクセルペダルから取得したペダルの踏力及び踏速から計算された加速度やアクセル開放等の情報より急発進を判定する。ブレーキ情報２０５は、ブレーキペダルの踏み込み量の検出値であり、急ブレーキを解析するために用いられ、ブレーキペダルから取得したペダルの踏力及び踏速から計算された加速度や液圧変化や減速度変化等の情報より急ブレーキを判定する。ハンドル情報２０６は、ステアリングの操作量の検出値であり、急ハンドルを解析するために用いられ、ステアリングハンドルから取得した操舵角や舵角センサ等の情報より急ハンドルを判定する。 The motion capture camera 203 is a camera that photographs the movement of a person or object. The video of the driver captured by the motion capture camera 203 is used to obtain the driver's driving posture and movements. The accelerator information 204 is a detected value of the amount of depression of the accelerator pedal, and is used to analyze a sudden start. Determine start. Brake information 205 is a detected value of the amount of depression of the brake pedal, and is used to analyze sudden braking, and includes acceleration, fluid pressure changes, and deceleration changes calculated from the pedal depression force and pedal velocity obtained from the brake pedal. It determines sudden braking based on information such as: Steering wheel information 206 is a detected value of the amount of steering operation, and is used to analyze sudden steering, and determines sudden steering from information such as the steering angle acquired from the steering wheel and the steering angle sensor.

ＥＣＵ２０２は、モーションキャプチャー映像処理部２０７、運転情報処理部２０８、状態判定部２０９、運転データ記憶部２１０、ドライバー情報記憶部２１１及びアクチュエーション判定部２１２を有する。モーションキャプチャー映像処理部２０７は、モーションキャプチャーカメラ２０３が撮影したドライバーの映像を取得し、取得した映像よりドライバーの運転姿勢や動きに伴う人体の各部位の位置（座標）を算出する。運転情報処理部２０８は、アクセル情報２０４、ブレーキ情報２０５及びハンドル情報２０６などの運転情報を地図情報２１３と共に状態判定部２０９に送信する。状態判定部２０９は、モーションキャプチャー映像処理部２０７、運転情報処理部２０８からデータ及び地図情報２１３を取得し、取得したデータ及び地図情報２１３に基づいてドライバーの状態を判定する。状態判定部２０９は、ドライバーの状態が異常状態であると判定した場合、取得した情報を運転データ記憶部２１０に格納し、アクチュエーション部の駆動を、アクチュエーション判定部２１２に要求する。アクチュエーション判定部２１２は、ドライバーに覚醒を促したり、注意を喚起したりするように、アクチュエーション部を制御する。例えば、スピーカ２１４でアラームを通知したり、ナビ画面２１５に注意喚起画面をポップアップ表示したりする。 The ECU 202 includes a motion capture video processing section 207, a driving information processing section 208, a state determination section 209, a driving data storage section 210, a driver information storage section 211, and an actuation determination section 212. The motion capture image processing unit 207 acquires an image of the driver captured by the motion capture camera 203, and calculates the position (coordinates) of each part of the human body associated with the driving posture and movement of the driver from the acquired image. The driving information processing unit 208 transmits driving information such as accelerator information 204, brake information 205, and steering wheel information 206 to the state determining unit 209 together with map information 213. The condition determination unit 209 acquires data and map information 213 from the motion capture video processing unit 207 and the driving information processing unit 208, and determines the driver's condition based on the acquired data and map information 213. When the state determination unit 209 determines that the driver's state is abnormal, the state determination unit 209 stores the acquired information in the driving data storage unit 210 and requests the actuation determination unit 212 to drive the actuation unit. The actuation determination unit 212 controls the actuation unit so as to urge the driver to wake up or alert the driver. For example, an alarm may be notified through the speaker 214 or a pop-up warning screen may be displayed on the navigation screen 215.

ＥＣＵ２０２は、演算装置、記憶装置、及び通信インターフェースを有する。演算装置は、記憶装置に格納されたプログラムを実行するプロセッサ（例えばマイコン）である。演算装置が、所定のプログラムを実行することによって、各種機能を提供する機能部として動作する。記憶装置は、不揮発性記憶領域及び揮発性記憶領域を含む。不揮発性記憶領域は、演算装置が実行するプログラムを格納するプログラム領域と、演算装置がプログラム実行時に使用するデータを一時的に格納するデータ領域を含む。揮発性記憶領域は、演算装置がプログラム実行時に使用するデータを格納する。通信インターフェースは、ＣＡＮやイーサネットなどのネットワークを介して他の電子制御装置と接続する。 ECU 202 has a calculation device, a storage device, and a communication interface. The arithmetic device is a processor (for example, a microcomputer) that executes a program stored in a storage device. A computing device operates as a functional unit that provides various functions by executing a predetermined program. The storage device includes a non-volatile storage area and a volatile storage area. The nonvolatile storage area includes a program area that stores a program executed by the arithmetic device, and a data area that temporarily stores data used by the arithmetic device when executing the program. The volatile storage area stores data used by the arithmetic unit when executing a program. The communication interface connects to other electronic control devices via a network such as CAN or Ethernet.

アクチュエーション部２１４～２１５は、ドライバーの覚醒を促す少なくとも一つの装置を含めばよい。また、ドライバーの覚醒を促す装置は、スピーカ２１４、ナビ画面２１５に限らず、他の装置でもよい。 The actuation units 214 to 215 may include at least one device that encourages the driver to wake up. Furthermore, the device that encourages the driver to wake up is not limited to the speaker 214 and the navigation screen 215, but may be any other device.

次に、状態判定部２０９について説明する。状態判定部２０９は、モーションキャプチャーカメラ２０３が撮影したドライバーの関節などの人体の動きの特徴となる部位の位置と動きを記憶し、ドライバーの運転姿勢や動きを検出して、ドライバーの異常状態を判定する。人体の一連の動きをスムーズに撮影するために、１秒間に６０ＦＰＳ以上撮影可能なカメラを用いるとよい。 Next, the state determination unit 209 will be explained. The condition determination unit 209 stores the positions and movements of parts of the human body that are characteristic of human body movements, such as joints of the driver, photographed by the motion capture camera 203, detects the driving posture and movements of the driver, and detects abnormal conditions of the driver. judge. In order to smoothly capture a series of human body movements, it is recommended to use a camera that can capture images at 60 FPS or more per second.

状態判定部２０９は、例えば、以下のパターンでドライバーの異常を判定する。 The state determining unit 209 determines whether the driver is abnormal, for example, based on the following pattern.

パターン１：人体各部位の位置が標準状態によって表される正常な姿勢、動きの範囲内であるか。標準状態の範囲は、予め新車製造時に範囲を定めたり、座面や背もたれの動きに連動して範囲を定めたり、ドライバーが運転開始時に設定するとよい。車両製造時に標準状態を予め設定することによって、ドライバーが標準状態を設定することなく、ドライバーの異常を判定できる。ドライバーが標準状態を設定することによって、ドライバー特有の姿勢や動きを考慮してドライバーの異常を判定でき、高精度にドライバーの異常を判定できる。ドライバーが設定する標準状態は、ドライバー毎に設定可能とするとよい。１台の車両を複数のドライバーで共用する場合、ドライバーごとにデータを登録し、実際に運転するドライバーの登録データを異常判断に使用できる。このため、高精度にドライバーの異常を判定できる。 Pattern 1: Is the position of each part of the human body within the normal posture and movement range represented by the standard state? The range of the standard state is preferably determined in advance when a new car is manufactured, determined in conjunction with the movement of the seat and backrest, or set by the driver when starting driving. By setting the standard state in advance during vehicle manufacture, it is possible to determine whether there is an abnormality in the driver without the driver having to set the standard state. By setting the standard state for the driver, it is possible to determine driver abnormalities by taking into account the driver's unique posture and movements, and it is possible to determine driver abnormalities with high accuracy. It is preferable that the standard state set by the driver can be set for each driver. When a single vehicle is shared by multiple drivers, data can be registered for each driver and the registered data of the driver actually driving the vehicle can be used to determine abnormalities. Therefore, the abnormality of the driver can be determined with high accuracy.

パターン２：人体各部位の動きが異常パターンに該当するか。例えば、モーションキャプチャー映像処理部２０７が算出した人体の各部位の位置の時系列変化によりドライバーの運転姿勢の変化や動きを算出し、算出された運転姿勢の変化や動きが適切な運転操作に伴う変化であるかを判定する。また、ドライバーの各部位の位置の時間変化の周期が所定の範囲内であれば、ドライバーが異常状態であると判定できる。例えば、居眠りによる頭の特定の揺れ等、運転者の身体の特定の揺れを検出して異常状態を判定できる。また、通常の運転操作では発生し得ない周期の身体の動きを閾値で判定して、高精度に異常状態を判定できる。 Pattern 2: Does the movement of each part of the human body correspond to an abnormal pattern? For example, the motion capture video processing unit 207 calculates changes and movements in the driver's driving posture based on time-series changes in the position of each part of the human body, and the calculated changes and movements in the driving posture accompany appropriate driving operations. Determine whether there is a change. Further, if the period of time change in the position of each part of the driver is within a predetermined range, it can be determined that the driver is in an abnormal state. For example, an abnormal state can be determined by detecting a specific shaking of the driver's body, such as a specific shaking of the driver's head due to falling asleep. Moreover, abnormal conditions can be determined with high accuracy by determining periodic body movements that cannot occur during normal driving operations using a threshold value.

パターン３：ドライバーの操作が異常運転行動に該当するか。アクセル情報２０４、ブレーキ情報２０５及びハンドル情報２０６から、急発進、急ブレーキ及び急ハンドルなどの異常な運転行動が検出されるかを判定する。 Pattern 3: Does the driver's operation fall under abnormal driving behavior? Based on the accelerator information 204, brake information 205, and steering wheel information 206, it is determined whether abnormal driving behavior such as sudden start, sudden braking, and sudden steering is detected.

なお、前述した複数のパターンを併用して判定精度を向上してもよい。例えば、パターン１とパターン２を併用して、人体各部位の位置が標準範囲外であり、かつ人体各部位の動きが異常パターンである場合にドライバーが異常状態であると判定してもよい。また、パターン１とパターン２を併用して、人体各部位の位置が標準範囲外である、又は人体各部位の動きが異常パターンである場合にドライバーが異常状態であると判定してもよい。 Note that the determination accuracy may be improved by using the plurality of patterns described above in combination. For example, by using pattern 1 and pattern 2 together, it may be determined that the driver is in an abnormal state when the position of each part of the human body is outside the standard range and the movement of each part of the human body is in an abnormal pattern. Furthermore, by using pattern 1 and pattern 2 together, it may be determined that the driver is in an abnormal state when the position of each part of the human body is outside the standard range or the movement of each part of the human body is in an abnormal pattern.

標準状態の情報は、通信装置（図示省略）を介して、他の車両のドライバー状態判定装置に転送可能とするとよい。標準状態の情報の車両間の転送によって、車両ごとにドライバーの標準状態のデータの取得が不要となる。 The standard state information may be transferable to a driver state determination device of another vehicle via a communication device (not shown). Transferring standard state information between vehicles eliminates the need to acquire driver standard state data for each vehicle.

また、状態判定部２０９は、ドライバーの異常を判定する運転モードと、ドライバーの標準状態を登録する登録モードの２モードで動作するとよい。状態判定部２０９は、登録モードにおいて、運転者自身が正常であると認識している期間の運転姿勢及び運転操作を標準状態として設定する。登録モードによって、標準状態の設定の煩雑さを解消でき、また、各ドライバー特有の動きも標準状態として取得できる。 Further, the state determining unit 209 preferably operates in two modes: a driving mode for determining whether the driver is abnormal, and a registration mode for registering the standard state of the driver. In the registration mode, the state determination unit 209 sets the driving posture and driving operation during a period in which the driver himself recognizes them as normal as a standard state. The registration mode eliminates the complexity of setting standard conditions, and also allows each driver's unique movements to be acquired as standard conditions.

このような状態判定部２０９による判定によって、顔認識によるドライバーの表情の変化では検知しづらい状況でもドライバーの異常状態を判定できる。 By making such a determination by the state determining unit 209, it is possible to determine the abnormal state of the driver even in situations where it is difficult to detect based on changes in the driver's facial expressions through facial recognition.

図１を参照して、異常状態判定処理手順について説明する。 Referring to FIG. 1, the abnormal state determination processing procedure will be described.

まず、モーションキャプチャー映像処理部２０７は、モーションキャプチャーカメラ２０３により撮影された映像を取得し、取得した映像から頭・腕・胴体の位置情報を取得する。そして、モーションキャプチャー映像処理部２０７は、取得した身体の各部位の位置情報に基づいて、頭の動きを検出し（１０１）、腕の動きを検出し（１０２）、胴体の動きを検出する（１０３）。頭の動き検出（１０１）、腕の動き検出（１０２）、胴体の動き検出（１０３）は、ほぼ同じタイミングであれば順番は異なってもよい。 First, the motion capture video processing unit 207 obtains a video shot by the motion capture camera 203, and obtains position information of the head, arms, and torso from the obtained video. Then, the motion capture video processing unit 207 detects the movement of the head (101), the movement of the arm (102), and the movement of the torso (101), based on the acquired position information of each body part. 103). Head movement detection (101), arm movement detection (102), and torso movement detection (103) may be performed in different orders as long as they are performed at approximately the same timing.

状態判定部２０９は、アクセル情報２０４及びブレーキ情報２０５及びハンドル情報２０６から取得する現在の運転情報を監視し（１０４）、アクセル情報２０４及びブレーキ情報２０５及びハンドル情報２０６の異常状態は、地図情報２１３から取得した情報を参照して、運転行動（ハンドル操作の有無、ハンドルの操作量、ハンドルの操作速度、ハンドル操作の頻度・ゆらぎ等）、車両挙動（車線逸脱、横方向のふらつき等）、車両状態（車速、方向指示器等）等が発生した場合に異常と判定する。 The state determination unit 209 monitors the current driving information acquired from the accelerator information 204, the brake information 205, and the steering wheel information 206 (104), and determines the abnormal state of the accelerator information 204, brake information 205, and steering wheel information 206 based on the map information 213. By referring to the information obtained from If a condition (vehicle speed, direction indicator, etc.) occurs, it is determined that there is an abnormality.

続いて、状態判定部２０９は、モーションキャプチャーカメラ２０３で検出した動きと標準状態を比較し（１０５）、ドライバーの異常状態を判定する（１０６）。ドライバーが正常状態であると判定した場合（１０６：ＮＯ）、本処理を終了する。ドライバーが異常状態であると判定した場合（１０６：ＹＥＳ）、アクチュエーション判定部２１２は、アクチュエーション部の装置２１４～２１５を駆動して、現在の運転情報を運転データ記憶部２１０に格納する（１０８）。 Next, the state determining unit 209 compares the motion detected by the motion capture camera 203 with the standard state (105), and determines whether the driver is in an abnormal state (106). If it is determined that the driver is in a normal state (106: NO), this process ends. If it is determined that the driver is in an abnormal state (106: YES), the actuation determination unit 212 drives the actuation unit devices 214 to 215 to store the current driving information in the driving data storage unit 210 ( 108).

図３は、異常状態判定処理の変形例のフローチャートである。 FIG. 3 is a flowchart of a modification of the abnormal state determination process.

ステップ１０１から１０６は、図１で前述した異常状態判定処理と同じである。 Steps 101 to 106 are the same as the abnormal state determination process described above with reference to FIG.

ステップ１０６でドライバーが異常状態であると判定した場合、状態判定部２０９は、異常状態のキャンセル状況であるかを判定する（１０７）。異常状態のキャンセル状況は、正常状態ではない位置又は動きであっても、運転操作や道路状況によって必要な動きであり、異常状態から除外される状況である。 If it is determined in step 106 that the driver is in an abnormal state, the state determining unit 209 determines whether the abnormal state is canceled (107). An abnormal state cancellation situation is a situation in which even if the position or movement is not in a normal state, the movement is necessary due to driving operation or road conditions and is excluded from the abnormal state.

パターン４：運転状態や地図を参照して、異常と判定すべき特定の動作を除外する。例えば、運転情報処理部２０８から取得したアクセル情報２０４、ブレーキ情報２０５及びハンドル情報２０６などの運転情報に基づいて判定された運転状況が車両停車中であれば、走行中には異常と判定すべき動きでも、車両の走行に影響がない動きを除外して、ドライバーの異常状態を判定する。また、ドライバーの運転姿勢や動作は道路状況に伴って変化するところ、特定の形状の道路では直進時には行わない特定の動作を行う場合がある。例えば、地図情報２１３から車両が交差点を走行していると判定されると、交差点における安全確認に伴う動作（身を乗り出して目視確認する頭部や上体の位置の変化）や、コーナリングではステアリング操作や、後退時に上体を捻って後方を見る動作などは異常な動作から除外するとよい。 Pattern 4: Refer to driving conditions and maps to exclude specific actions that should be determined to be abnormal. For example, if the driving situation determined based on the driving information such as the accelerator information 204, brake information 205, and steering wheel information 206 acquired from the driving information processing unit 208 is that the vehicle is stopped, it should be determined that there is an abnormality while the vehicle is running. Even when it comes to movements, the abnormal state of the driver is determined by excluding movements that do not affect the running of the vehicle. Furthermore, the driver's driving posture and actions change depending on the road conditions, and on a road of a particular shape, the driver may perform certain actions that would not be performed when driving straight. For example, if it is determined from the map information 213 that the vehicle is running at an intersection, actions associated with safety confirmation at the intersection (changes in the position of the head and upper body for visual confirmation by leaning forward), and steering during cornering. It is best to exclude abnormal movements such as maneuvering or twisting your upper body to look behind you when backing up.

パターン５：短時間の動きを除外する。モーションキャプチャー映像処理部２０７が算出した人体の各部位の位置の時系列変化のうち、短時間の変化を除外して、短時間の動きを異常と判定しないようにする。例えば、道路状況による車体の振動に伴う人体の動揺やくしゃみのような突発的な動作を除外するとよい。 Pattern 5: Exclude short-term movements. Among the time-series changes in the position of each part of the human body calculated by the motion capture video processing unit 207, short-time changes are excluded so that short-time movements are not determined to be abnormal. For example, it is preferable to exclude sudden movements such as shaking of the human body or sneezing due to vibrations of the vehicle body due to road conditions.

そして、異常状態のキャンセル状況である場合は、本処理を終了する。一方、異常状態のキャンセル状況でない場合は、アクチュエーション部の装置２１４～２１５を駆動して、現在の運転情報を運転データ記憶部２１０に格納する（１０８）。 If the cancellation situation is abnormal, the process ends. On the other hand, if it is not an abnormal state cancellation situation, the devices 214 to 215 of the actuation section are driven to store the current driving information in the driving data storage section 210 (108).

別の変形例として、模範的な運転操作を標準状態として、状態判定部２０９がドライバーの運転操作と標準状態（模範運転操作）との差をナビ画面２１５に出力してもよい。また、模範運転操作と大きく乖離した操作をした場合に、スピーカ２１４から注意を報知してもよい。ドライバーの運転操作と模範的な運転操作の比較によって、運転者の異常判断だけでなく、モーションキャプチャーデータを運転指導にも使用でき、ドライバーの運転スキルを向上できる。 As another modification, the state determination unit 209 may output the difference between the driver's driving operation and the standard state (exemplary driving operation) to the navigation screen 215, with the exemplary driving operation as the standard state. Further, if the driver performs an operation that greatly deviates from the model driving operation, the speaker 214 may alert the driver. By comparing the driver's driving maneuvers with model driving maneuvers, the motion capture data can be used not only to determine driver abnormalities, but also to provide driving guidance, improving the driver's driving skills.

以上に説明したように、本発明の実施例のドライバー状態判定装置２０１は、標準状態によって表される正常な姿勢、動きからの逸脱をモーションキャプチャーによる人体の各部位の位置で判定することによって、マスクやサングラス着用時などドライバーモニタリングでドライバーの表情が分かりづらい状況でも、ドライバーの状態を常に監視し、ドライバーの異常状態を高精度に判定できる。 As described above, the driver state determination device 201 according to the embodiment of the present invention determines deviations from the normal posture and movement represented by the standard state based on the position of each part of the human body using motion capture. Even in situations where it is difficult to see the driver's facial expressions through driver monitoring, such as when the driver is wearing a mask or sunglasses, the driver's condition can be constantly monitored and abnormal conditions can be determined with high accuracy.

また、前述した変形例のドライバー状態判定装置２０１は、運転者の正常な動きを異常状態の判定から除外できる。例えば、短時間の動きを除外して異常状態を判定するので、くしゃみのような突発的なドライバーの姿勢や動きを異常状態と判断とすることを抑制できる。また、例えば、見通しの悪い交差点で身を乗り出して目視する動きを除外して異常状態を判定するので、異常判断を高精度に判定できる。 Further, the driver state determination device 201 of the above-described modification can exclude normal movements of the driver from determination of an abnormal state. For example, since abnormal conditions are determined by excluding short-time movements, it is possible to prevent sudden driver postures or movements such as sneezing from being determined as abnormal conditions. Further, since the abnormal state is determined by excluding movements observed by leaning forward and visually at an intersection with poor visibility, the abnormal state can be determined with high accuracy.

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。 Note that the present invention is not limited to the embodiments described above, and includes various modifications and equivalent configurations within the scope of the appended claims. For example, the embodiments described above have been described in detail to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to having all the configurations described. Further, a part of the configuration of one embodiment may be replaced with the configuration of another embodiment. Further, the configuration of one embodiment may be added to the configuration of another embodiment. Further, other configurations may be added, deleted, or replaced with a part of the configuration of each embodiment.

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。 Further, each of the above-mentioned configurations, functions, processing units, processing means, etc. may be realized in part or in whole by hardware, for example by designing an integrated circuit, and a processor realizes each function. It may also be realized by software by interpreting and executing a program.

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。 Information such as programs, tables, files, etc. that realize each function can be stored in a storage device such as a memory, a hard disk, or an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。 Furthermore, the control lines and information lines shown are those considered necessary for explanation, and do not necessarily show all the control lines and information lines necessary for implementation. In reality, almost all configurations can be considered interconnected.

２０１ドライバー状態判定装置
２０２ＥＣＵ
２０４アクセル情報
２０５ブレーキ情報
２０６ハンドル情報
２０３モーションキャプチャーカメラ
２０７モーションキャプチャー処理部
２０８運転情報処理部
２０９状態判定部
２１０運転データ記憶部
２１１ドライバー情報記憶部
２１２アクチュエーション判定部
２１３地図情報
２１４スピーカ
２１５ナビ画面 201 Driver status determination device 202 ECU
204 Accelerator information 205 Brake information 206 Steering wheel information 203 Motion capture camera 207 Motion capture processing unit 208 Driving information processing unit 209 State determination unit 210 Driving data storage unit 211 Driver information storage unit 212 Actuation determination unit 213 Map information 214 Speaker 215 Navigation screen

Claims

ドライバーの状態を判定する状態判定装置であって、
カメラが撮影したドライバーの映像から、モーションキャプチャーにより、ドライバーの各部位の位置を算出する映像処理部と、
前記映像処理部から取得したドライバーの各部位の位置に基づいてドライバーの状態を判定する状態判定部とを有することを特徴とする状態判定装置。 A condition determination device that determines the condition of a driver,
An image processing unit that uses motion capture to calculate the position of each part of the driver from the image of the driver captured by the camera;
A condition determining device comprising: a condition determining section that determines the condition of the driver based on the position of each part of the driver obtained from the video processing section.

請求項１に記載の状態判定装置であって、
前記状態判定部は、ドライバーの各部位の位置の時間変化とドライバーの運転操作が整合する場合、異常状態から除外して、ドライバーの状態を判定することを特徴とする状態判定装置。 The state determination device according to claim 1,
The condition determining device is characterized in that the condition determining unit determines the condition of the driver by excluding it from the abnormal condition when the temporal change in the position of each part of the driver matches the driver's driving operation.

請求項２に記載の状態判定装置であって、
前記状態判定部は、ドライバーの各部位の位置の時間変化の周期が所定の範囲内であれば、ドライバーの状態を異常であると判定することを特徴とする状態判定装置。 The state determining device according to claim 2,
The condition determining device is characterized in that the condition determining unit determines that the condition of the driver is abnormal if a period of time change in the position of each part of the driver is within a predetermined range.

請求項３に記載の状態判定装置であって、
前記状態判定部は、ドライバーの各部位の位置の短時間の変化を異常状態から除外して、ドライバーの状態を判定することを特徴とする状態判定装置。 The state determination device according to claim 3,
The condition determining device is characterized in that the condition determining unit determines the condition of the driver by excluding short-time changes in the positions of various parts of the driver from abnormal conditions.

請求項３に記載の状態判定装置であって、
前記状態判定部は、ドライバーの各部位の位置とドライバーが設定した標準状態とを比較して、ドライバーの状態を判定することを特徴とする状態判定装置。 The state determination device according to claim 3,
The condition determining device is characterized in that the condition determining unit determines the condition of the driver by comparing the positions of each part of the driver with a standard condition set by the driver.

請求項３に記載の状態判定装置であって、
前記状態判定部は、ドライバーの各部位の位置と車両の製造時に予め設定された標準状態とを比較して、ドライバーの状態を判定することを特徴とする状態判定装置。 The state determination device according to claim 3,
The condition determining device is characterized in that the condition determining unit determines the condition of the driver by comparing the positions of each part of the driver with a standard condition preset at the time of manufacturing the vehicle.

請求項３に記載の状態判定装置であって、
前記状態判定部は、車両の運転状態を参照して、当該運転状態において正常な動作を異常状態から除外して、ドライバーの状態を判定することを特徴とする状態判定装置。 The state determination device according to claim 3,
The state determining device is characterized in that the state determining unit refers to the driving state of the vehicle, excludes normal operations in the driving state from abnormal states, and determines the driver's state.

請求項５又は６に記載の状態判定装置であって、
前記標準状態を表すデータは、通信装置を介して、他の車両の状態判定装置に転送可能であることを特徴とする状態判定装置。 The state determining device according to claim 5 or 6,
A state determination device characterized in that data representing the standard state can be transferred to a state determination device of another vehicle via a communication device.

請求項５又は６に記載の状態判定装置であって、
前記状態判定部は、登録モードにおいて、運転者自身が正常であると認識している期間の運転姿勢及び動きを前記標準状態として設定することを特徴とする状態判定装置。 The state determining device according to claim 5 or 6,
The state determining device is characterized in that, in the registration mode, the state determining unit sets a driving posture and movement during a period in which the driver himself recognizes as normal as the standard state.

請求項３に記載の状態判定装置であって、
前記状態判定部は、車両の位置の地図を参照して、当該位置において必要な運転操作を異常状態から除外して、ドライバーの状態を判定することを特徴とする状態判定装置。 The state determination device according to claim 3,
The state determining device is characterized in that the state determining unit refers to a map of the vehicle's location, excludes a driving operation required at the location from the abnormal state, and determines the driver's state.

請求項５又は６に記載の状態判定装置であって、
前記状態判定部は、ドライバーの運転操作と前記標準状態との差を出力することを特徴とする状態判定装置。 The state determining device according to claim 5 or 6,
The state determining device is characterized in that the state determining unit outputs a difference between a driver's driving operation and the standard state.

請求項５に記載の状態判定装置であって、
ドライバーが設定した標準状態は、ドライバー毎に設定可能であることを特徴とする状態判定装置。 The state determining device according to claim 5,
A state determination device characterized in that a standard state set by a driver can be set for each driver.

状態判定装置が実行する、ドライバーの状態を判定する状態判定方法であって、
前記状態判定装置は、プログラムを実行する演算装置と、前記演算装置がアクセス可能な記憶装置とを有し、
カメラが撮影したドライバーの映像から、モーションキャプチャーにより、ドライバーの各部位の位置を算出する映像処理手順と、
前記映像処理手順で算出されたドライバーの各部位の位置に基づいてドライバーの状態を判定する状態判定手順とを有することを特徴とする状態判定方法。 A state determination method for determining the state of a driver, which is executed by a state determination device, the method comprising:
The state determination device includes a calculation device that executes a program, and a storage device that can be accessed by the calculation device,
A video processing procedure that uses motion capture to calculate the position of each part of the driver from the video of the driver captured by the camera;
A condition determining method comprising: a condition determining step of determining the condition of the driver based on the position of each part of the driver calculated in the video processing step.