JP4882930B2 - Behavior estimation device - Google Patents
Behavior estimation device Download PDFInfo
- Publication number
- JP4882930B2 JP4882930B2 JP2007235455A JP2007235455A JP4882930B2 JP 4882930 B2 JP4882930 B2 JP 4882930B2 JP 2007235455 A JP2007235455 A JP 2007235455A JP 2007235455 A JP2007235455 A JP 2007235455A JP 4882930 B2 JP4882930 B2 JP 4882930B2
- Authority
- JP
- Japan
- Prior art keywords
- action
- behavior
- behavior estimation
- person
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Analysis (AREA)
Description
本発明は、画像に写り込んだ人物の行動を推定する行動推定装置に関する。 The present invention relates to a behavior estimation device that estimates the behavior of a person reflected in an image.
従来より、車両に搭載され、運転者を含む画像を撮影する撮影装置と、撮影装置で撮影された画像（以下、撮影画像とする）に基づき、運転中の運転者がとると危険な行動（以下、危険行動とする）である携帯電話を使用する行動（以下、電話使用行動とする）をとっているか否かを判定する画像処理装置とを備えた行動推定装置が知られている（例えば、特許文献１参照）。 Conventionally, on the basis of a photographing device mounted on a vehicle and photographing an image including the driver, and an image photographed by the photographing device (hereinafter referred to as a photographed image), a dangerous action ( Hereinafter, an action estimation device including an image processing device that determines whether or not a behavior using a mobile phone (hereinafter referred to as “dangerous behavior”) is taken (hereinafter referred to as “phone usage behavior”) is known (for example, , See Patent Document 1).
この特許文献１に記載の行動推定装置では、撮影画像中の顔面の周辺に予め規定された規定領域内に、撮影画像中の手が予め設定された設定時間以上位置し続けた場合に、運転者が電話使用行動をとっているものと判定している。
ところで、危険行動としては、電話使用行動の他に、ステアリングから手を離して肩をまわす肩回し行動や腕をまわす腕回し行動等（以下、特定行動とする）が挙げられる。
しかしながら、特許文献１に記載の行動推定装置では、運転者が特定行動を行っているか否かを判定することができず、例えば、運転者が特定行動をとった時に警報を発する等、車両を安全に走行させるための処理を実行することができなかった。
By the way, as the dangerous behavior, in addition to the telephone use behavior, there are a shoulder turning behavior in which the hand is released from the steering wheel and a shoulder is turned, a arm turning behavior in which the arm is turned (hereinafter referred to as a specific behavior).
However, the behavior estimation device described in Patent Document 1 cannot determine whether or not the driver is performing a specific behavior. For example, an alarm is issued when the driver takes a specific behavior. The process for driving safely could not be executed.
つまり、特許文献１に記載の行動推定装置では、肩回し行動や、腕回し行動のように、人物の身体上に予め規定された特徴点（手首や肘等）が、その特徴点とは異なる特徴点（肩等）を中心に繰り返し移動する特定行動を、運転者がとっていることを検出できないという問題があった。 That is, in the behavior estimation device described in Patent Document 1, feature points (such as wrists and elbows) that are defined in advance on a person's body, such as shoulder-turning behavior and arm-turning behavior, are different from the feature points. There is a problem that it is impossible to detect that the driver is taking a specific action that repeatedly moves around a feature point (shoulder or the like).
そこで、本発明は、特定行動をとっていることを検出可能な行動推定装置を提供することを目的とする。 Then, an object of this invention is to provide the action estimation apparatus which can detect taking specific action.
上記目的を達成するためになされた本発明の行動推定装置は、撮影画像取得手段が、人物が撮影された撮影画像を、その撮影画像が撮影される毎に取得し、特徴点検出手段が、人物の身体上に予め設定されたポイントを特徴点として、撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ人物の特徴点である検出特徴点を検出する。 In the behavior estimation apparatus of the present invention made to achieve the above object, the captured image acquisition unit acquires a captured image obtained by capturing a person every time the captured image is captured, and the feature point detection unit includes: Each time a photographed image is acquired by the photographed image acquisition means using a preset point on the person's body, a detected feature point that is a person feature point reflected in the photographed image is detected.
そして、予め規定された特徴点がその特徴点とは別に規定された特徴点を中心に繰り返し移動する行動を特定行動とし、特定行動をとった人物の連続的に変化する特徴点が位置する複数の地点を帰着点とし、帰着点毎に設けられ、特定行動をとった人物の特徴点が位置する可能性のある領域を許容領域として、モデル格納手段が、前記特定行動ごとに、前記帰着点及び前記許容領域の軌跡によって閉じられた曲線で表される行動推定モデルを格納しており、さらに、行動推定手段が、特徴点検出手段にて検出される検出特徴点が、モデル格納手段に格納された行動推定モデルによって表される閉じられた曲線を形成する許容領域内に、予め規定された連続する時間である規定時間内に、予め規定された規定回数以上位置した認定状態である場合、撮影画像に写り込んだ人物が特定行動をとっているものと推定する。 Then, a behavior that repeatedly moves around a feature point that is defined separately from the feature point that is defined in advance is defined as a specific behavior, and a plurality of feature points that continuously change a person who has taken the specific behavior are located. a point and return point is provided for each return point, the areas which may feature point of a person taking a specific action position as the allowable region, the model storage unit, for each of the specific action, the return point And a behavior estimation model represented by a curve closed by the trajectory of the permissible region , and the behavior estimation means stores the detected feature points detected by the feature point detection means in the model storage means. within the acceptable region for forming a closed curve represented by behavioral estimation model, a predefined within the specified time is a time for continuous, a certified state positioned predefined specified number of times or more field , It shall be presumed that the person yelling-through on the photographed image is taking a particular action.
このような本発明の行動推定装置によれば、撮影画像に写り込んだ人物が特定行動をとっていることを検出することができる。
なお、ここで言う特定行動とは、肩をまわす肩回し行動や、腕をまわす腕回し行動、腰を左右にひねる腰回し行動等を表すものである。
According to such an action estimation apparatus of the present invention, it is possible to detect that a person reflected in a captured image is taking a specific action.
Here, the specific action refers to a shoulder turning action for turning a shoulder, an arm turning action for turning an arm, a waist turning action for twisting the waist to the left and right, and the like.
また、本発明の行動推定装置における行動推定手段は、請求項２に記載のように、規定回数以上連続して、検出特徴点が許容領域内に位置した場合、認定状態とするように構成されていることが望ましい。 Further, the behavior estimation means in the behavior estimation device of the present invention is configured to be in the authorized state when the detected feature point is located in the allowable region continuously for a prescribed number of times as described in claim 2. It is desirable that
このように構成された本発明の行動推定装置によれば、撮影画像に写り込んだ人物が特定行動をとっていることの検出精度を向上させることができる。
さらに、本発明の行動推定装置は、請求項３に記載のように、行動推定手段にて特定行動をとっているものと推定された場合、疲労低減手段が、撮影画像に写り込んだ人物の疲労を低減するための疲労低減制御を実行するように構成されていることが望ましい。
According to the behavior estimation apparatus of the present invention configured as described above, it is possible to improve the detection accuracy that a person reflected in a captured image is taking a specific behavior.
Furthermore, the behavior estimation device according to the present invention, as claimed in claim 3, when it is estimated that the behavior estimation means is taking a specific behavior, the fatigue reduction means It is desirable to be configured to execute fatigue reduction control for reducing fatigue.
このように構成された行動推定装置によれば、特定行動をとっている人物の疲労度が通常時よりも高くなっているものとして、疲労低減制御を実行するため、その人物の疲労度を低減させることができる。 According to the behavior estimation apparatus configured as described above, the fatigue level of the person taking the specific action is assumed to be higher than normal, and the fatigue level of the person is reduced because the fatigue reduction control is executed. Can be made.
特に、このように構成された本発明の行動推定装置を車両に搭載し、撮影画像に運転者を収めるようにした場合には、より安全な運転を運転者にさせることができる。
本発明の行動推定装置における疲労低減手段が実行する疲労低減制御は、請求項４に記載のように、現在位置を検出し、検出された現在位置周辺に位置する施設の情報を取得して、その取得した情報を報知可能な（即ち、周知の）ナビゲーション装置から、撮影画像に写り込んだ人物が休憩可能な休憩施設の情報を報知させることでも良いし、請求項５に記載のように、少なくとも冷房機能を有した空気調和装置から、撮影画像に写り込んだ人物に冷風を吹きかけることでも良い。
In particular, when the behavior estimation device of the present invention configured as described above is mounted on a vehicle and the driver is included in a captured image, the driver can be driven more safely.
Fatigue reduction control executed by the fatigue reduction means in the behavior estimation device of the present invention detects the current position as described in claim 4, obtains information on facilities located around the detected current position, It is also possible to notify information on a resting facility where a person reflected in a captured image can take a break from a navigation device capable of notifying the acquired information (that is, well-known). It is also possible to blow cold air on a person reflected in a photographed image from an air conditioner having at least a cooling function.
前者のような疲労低減制御を実行する行動推定装置によれば、撮影画像に写り込んだ人物に休息をとるように促すことで、その人物により安全な行動をとらせることができる。
なお、ここで言う休憩施設とは、サービスエリアや、パーキングエリア、道の駅等の施設の他に、ショッピングセンターや、公園等の撮影画像に写り込んだ人物が休憩をとることが可能な施設を示すものとする。
According to the behavior estimation apparatus that performs fatigue reduction control as in the former, it is possible to cause the person reflected in the photographed image to take a rest, thereby allowing the person to take a safer action.
In addition, the rest facility here refers to a facility where a person reflected in a photographed image such as a shopping center or a park can take a rest in addition to facilities such as a service area, a parking area, and a road station. It shall be shown.
また、後者のような疲労低減制御を実行する行動推定装置によれば、撮影画像に写り込んだ人物に冷風を吹きかけることで、その人物の疲労度を低減させることができ、より安全な行動をとらせることができる。 In addition, according to the behavior estimation device that performs the fatigue reduction control like the latter, by blowing cold air on the person reflected in the captured image, the fatigue level of the person can be reduced, and safer behavior can be achieved. Can be taken.
以下に本発明の実施形態を図面と共に説明する。
図１は、本発明が適用され、車両に搭載された行動推定装置の概略構成を示したブロック図である。なお、以下では、行動推定装置１が搭載された車両を搭載車両と称す。
〈全体構成〉
行動推定装置１は、搭載車両の乗員を撮影する撮影装置１５と、周知の経路案内等を行うことに加えて、警報を発するナビゲーション装置２１と、車両に搭載された空気調和装置（いわゆるエアコンディショナー）を制御する空調制御装置２２と、撮影装置１５で撮影された画像（以下、撮影画像とする）を画像処理することにより、搭載車両の乗員の行動を推定し、その推定結果に従って、ナビゲーション装置２１や空調制御装置２２を制御する画像処理プロセッサ１０とを備えている。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of an action estimation apparatus to which the present invention is applied and mounted on a vehicle. Hereinafter, a vehicle on which the behavior estimation device 1 is mounted is referred to as a mounted vehicle.
<overall structure>
The behavior estimation device 1 includes an imaging device 15 that captures an occupant of a mounted vehicle, a known navigation device, a navigation device 21 that issues a warning, and an air conditioner (a so-called air conditioner) mounted on the vehicle. The air conditioning control device 22 for controlling the vehicle) and an image captured by the imaging device 15 (hereinafter referred to as a captured image) are image-processed to estimate the behavior of the occupant of the mounted vehicle, and according to the estimation result, the navigation device 21 and an image processing processor 10 that controls the air conditioning controller 22.
撮影装置１５は、車室内へとレンズを向けた上で、搭載車両の天板（または、フロントガラス）に突設されたルームミラーの付け根付近に配置された周知のデジタルカメラであり、撮影画像を画像処理プロセッサ１０に順次出力するように構成されている。なお、撮影装置１５にて撮影される画像は、図２に示すように、運転席に着座している運転者の上半身（即ち、運転者の頭部、両腕、両手、及び胴体等）が少なくとも収められたものとなるようにされている。 The photographing device 15 is a well-known digital camera disposed near the base of a rearview mirror that protrudes from the top plate (or windshield) of the mounted vehicle with the lens facing into the vehicle interior. Are sequentially output to the image processor 10. As shown in FIG. 2, the image taken by the photographing device 15 is the upper body of the driver seated in the driver's seat (that is, the driver's head, both arms, both hands, the torso, etc.). It is intended to be at least contained.
ナビゲーション装置２１は、搭載車両の現在位置を検出する現在位置検出器と、地図データを格納する格納部と、音声を出力するスピーカと、画像を表示するモニタと、現在位置検出器、格納部、スピーカ、及びモニタを制御する制御装置とを少なくとも備えている。なお、制御装置は、ＲＯＭ，ＲＡＭ，ＣＰＵからなる周知のマイクロコンピュータを中心に構成され、周知の現在位置表示処理、経路設定処理、経路案内処理等を実行するように構成されている。 The navigation device 21 includes a current position detector that detects the current position of the mounted vehicle, a storage unit that stores map data, a speaker that outputs sound, a monitor that displays an image, a current position detector, a storage unit, And at least a control device for controlling the speaker and the monitor. The control device is configured around a known microcomputer including a ROM, a RAM, and a CPU, and is configured to execute known current position display processing, route setting processing, route guidance processing, and the like.
また、空調制御装置２２は、画像処理プロセッサ１０からの制御指令に従って、空気調和装置から運転者に冷風を吹き付ける冷風送気制御を実行するように構成されている。
〈画像処理プロセッサについて〉
次に、画像処理プロセッサについて説明する。
The air conditioning control device 22 is configured to execute cold air supply control for blowing cold air from the air conditioning device to the driver in accordance with a control command from the image processing processor 10.
<Image processor>
Next, the image processing processor will be described.
画像処理プロセッサ１０は、処理プログラム等を格納するＲＯＭ１０ａと、データを一時的に格納するＲＡＭ１０ｂと、ＲＯＭ１０ａまたはＲＡＭ１０ｂに格納された処理プログラムに従って各種処理を実行するＣＰＵ１０ｃとを少なくとも有した周知のマイクロコンピュータを中心に構成されている。 The image processor 10 is a known microcomputer having at least a ROM 10a for storing processing programs, a RAM 10b for temporarily storing data, and a CPU 10c for executing various processes in accordance with the processing programs stored in the ROM 10a or RAM 10b. It is structured around.
そして、ＲＯＭ１０ａには、撮影装置１５で撮影された撮影画像を順次画像処理することにより、運転者が予め規定された特定行動をとったか否かを判定し、その判定の結果、運転者が特定行動をとった場合、空調制御装置２２に制御指令を出力する行動推定処理を実行するための処理プログラムが格納されている。 Then, the ROM 10a sequentially processes the captured images taken by the photographing device 15 to determine whether or not the driver has taken a specific action that has been prescribed in advance. When an action is taken, a processing program for executing an action estimation process for outputting a control command to the air conditioning control device 22 is stored.
さらに、ＲＯＭ１０ａには、行動推定処理を実行するときに参照される特徴点リストと、行動推定モデル群とが格納されている。
このうち、特徴点リストは、撮影画像に写り込んだ運転者から、予め人物の腕部に設定された特徴点を検出するためのものであり、特徴点リストには、図３に示すように、人体の右肩（図中、ｄ１），左肩（ｄ４），右ひじ（ｄ２），左ひじ（ｄ５），右手首（ｄ３），左手首（ｄ６）が特徴点として少なくとも設定されている。
〈行動推定モデルについて〉
また、行動推定モデル群は、撮影画像から検出された特徴点（以下、検出特徴点とする）の移動に従って、撮影画像に写り込んだ人物が予め規定された特定行動をとっているのか否かを判定するために、検出対象とする特定行動毎に予め設定された複数の行動推定モデルからなる。
Further, the ROM 10a stores a feature point list to be referred to when executing the behavior estimation process and a behavior estimation model group.
Among them, the feature point list is for detecting feature points set in advance on the person's arm from the driver reflected in the photographed image. The feature point list is shown in FIG. The right shoulder (d1 in the figure), left shoulder (d4), right elbow (d2), left elbow (d5), right wrist (d3), and left wrist (d6) of the human body are set as feature points.
<About the behavior estimation model>
In addition, the behavior estimation model group determines whether or not the person reflected in the photographed image has taken a specific action prescribed in advance in accordance with the movement of the feature point detected from the photographed image (hereinafter referred to as a detected feature point). In order to determine whether or not, a plurality of behavior estimation models set in advance for each specific behavior to be detected are included.
なお、本実施形態では、具体的に、検出対象とする特定行動として、右肩を回す行動と、左肩を回す行動とが規定されている（以下、これらの肩を回す行動を肩回し行動と称す）。 In the present embodiment, specifically, as the specific action to be detected, the action of turning the right shoulder and the action of turning the left shoulder are defined (hereinafter, the action of turning the shoulder is referred to as the shoulder turning action). Called).
そして、各行動推定モデルには、肩回し行動をとった人物の連続的に変化する特徴点が位置する複数の地点である帰着点と、帰着点を中心として帰着点毎に設けられ、肩回し行動をとった人物の特徴点が位置する可能性のある領域である許容領域とが設定されている。ただし、本実施形態における特徴点の座標、帰着点、及び許容領域は、人体の右肩，もしくは左肩を原点とした相対座標系によって表されている。 Each behavior estimation model is provided with a return point, which is a plurality of points where continuously changing feature points of the person who has taken the shoulder-turning action are located, and for each return point around the return point. An allowable area, which is an area in which a feature point of a person who takes an action may be located, is set. However, the coordinates of the feature points, the return points, and the permissible areas in the present embodiment are represented by a relative coordinate system with the right shoulder or left shoulder of the human body as the origin.
そして、本実施形態では、各行動推定モデルの帰着点、許容領域を設定するために、以下の手順が踏まれる。
ここで、図７は、行動推定モデルを作成する時の手順を示した説明図であり、図８は、帰着点、及び許容領域の設定手順を説明するための説明図である。
And in this embodiment, in order to set the return point of each action estimation model and an allowable area, the following procedure is taken.
Here, FIG. 7 is an explanatory diagram showing a procedure for creating a behavior estimation model, and FIG. 8 is an explanatory diagram for explaining a procedure for setting a return point and an allowable region.
まず、複数（例えば、統計学上、信頼できる数が望ましい）の被験者（図７中、Ａ〜Ｍ）に、複数回（図７中、１〜３）肩回し行動をとらせ、被験者らが肩回し行動をとっている様子を撮影画像に収める。そして、それらの撮影画像の中から、各被験者が腕を挙げてから（以下、開始姿勢とする）、腕が同じ地点に戻るまで（即ち、開始姿勢と同じ姿勢、以下、終端姿勢とする））の様子（即ち、肩を１回まわした様子）が時刻順に連続的に収められたものを被験者毎、並びに一回の肩回し行動である１試行毎に抽出する。 First, a plurality of subjects (for example, a statistically reliable number is preferable) (A to M in FIG. 7) are caused to take a plurality of (1 to 3 in FIG. 7) shoulder-shake behaviors. The state of taking a shoulder turning action is included in the photographed image. Then, from each of the captured images, each subject raises his arm (hereinafter referred to as a starting posture) until the arm returns to the same point (that is, the same posture as the starting posture, hereinafter referred to as a terminal posture). ) (That is, a state in which the shoulder is turned once) is extracted for each subject and for each trial that is a single shoulder turning action.
さらに、被験者毎に抽出された肩回し１回分（即ち、試行毎）の撮影画像から、それらの撮影画像に写り込んだ被験者の特徴点を抽出し、全時刻での特徴点座標を全被験者の全試行分求める。以下、１時刻における特徴点座標をサンプルとも称す。 Furthermore, the feature points of the subjects reflected in the captured images are extracted from the captured images of the shoulder rotation extracted for each subject (that is, for each trial), and the feature point coordinates at all times are extracted for all subjects. Find all trials. Hereinafter, the feature point coordinates at one time are also referred to as samples.
すると、図７に示すように、各被験者によって、肩を回す速度が異なることや、被験者が同じであっても試行毎に肩を回す速度が異なることから、開始姿勢から終端姿勢までを収めた撮影画像の枚数が異なり、求められるサンプル数（ＮXi（ただし、Ｘは被験者を、ｉは試行回数を表すものであり、図７中では、ＮA1，ＮA2，ＮA3…ＮM1，ＮM2，ＮM3が該当する）が異なることになる。例えば、被験者Ａは、被験者Ｍに比べて、サンプル数が少なくなる（図７に例示したものでは、ＮAi＞ＮMi，ｉ＝１〜３）可能性があり、被験者Ｍの第Ｉ試行と第Ｊ試行（ただし、Ｉ，Ｊは自然数（図７に例示したものでは、１〜３））のサンプル数が異なる（図７に例示したものでは、ＮM1≠ＮM2≠ＮM3）可能性もある。 Then, as shown in FIG. 7, since the speed of turning the shoulder is different for each subject, and the speed of turning the shoulder is different for each trial even if the subject is the same, the start posture to the end posture are accommodated. The number of photographed images is different, and the number of samples to be obtained (N Xi (where X represents the subject, i represents the number of trials, and in FIG. 7, N A1 , N A2 , N A3 ... N M1 , N M2, N M3 corresponds) will be different. for example, subject a, as compared to the subject M, the number of samples is reduced (which was illustrated in FIG. 7, N Ai> N Mi, i = 1~ 3) There is a possibility that the number of samples of subject M's trial I and trial J (where I and J are natural numbers (1 to 3 in the example shown in FIG. 7)) is different (illustrated in FIG. 7). In some cases, N M1 ≠ N M2 ≠ N M3 ).
しかし、サンプル数が少なかったとしても、求められた特徴点座標間を特徴点が通過していることは明らかであるため、サンプル数が最も多い試行と同数となるように、求められた特徴点座標間を通過したであろう特徴点座標を、周知の補間処理に従って求め、サンプル数が少ない試行の特徴点座標を増加させる（図７に示す例では、補間処理を実行後のサンプル数ＬがＮA3に統一される（図中、Ｌ＝ＮA3））。 However, even if the number of samples is small, it is clear that the feature points pass between the obtained feature point coordinates, so the calculated feature points are the same as the trials with the largest number of samples. The feature point coordinates that would have passed between the coordinates are obtained according to a known interpolation process, and the feature point coordinates of the trial with a small number of samples are increased (in the example shown in FIG. 7, the number of samples L after executing the interpolation process is N A3 (L = N A3 in the figure)).
そして、補間処理によってサンプル数が同数となった特徴点座標集合（即ち、撮影画像から検出された特徴点座標に基づき、補間処理によって再標本化した特徴点座標の集まり）において、ほぼ同じ時刻に位置していると考えられる（即ち、開始姿勢から同じサンプル数だけ進んでいる）特徴点座標を、全被験者の全試行に渡って抽出しグルーピングする（以下、グルーピングされることで形成される特徴点座標の集合を座標群とする）。ここで、各座標群を形成する特徴点座標を抽出した位置をそれぞれ、再標本化時刻位置とする。 In the feature point coordinate set (ie, a collection of feature point coordinates resampled by the interpolation process based on the feature point coordinates detected from the captured image) in which the number of samples is the same by the interpolation process, at approximately the same time. Feature point coordinates that are considered to be located (that is, the same number of samples have advanced from the starting posture) are extracted and grouped over all trials of all subjects (hereinafter, features formed by grouping) A set of point coordinates is a coordinate group). Here, the positions where the feature point coordinates forming each coordinate group are extracted are set as re-sampling time positions.
さらに、各再標本化時刻位置にて抽出された全ての特徴点座標（即ち、各再標本化時刻位置で座標群を構成する全ての特徴点座標）を平均した平均座標を求め、その平均座標を帰着点として設定する。そして、求められた帰着点と、各再標本化時刻位置にて抽出された全ての特徴点座標（即ち、各再標本化時刻位置で座標群を構成する全ての特徴点座標）との距離（以下、検出距離とする）を算出し、それらの算出された全ての検出距離から標準偏差を求める。この後、求められた標準偏差の３倍を半径（以下、許容距離とする）とした領域（２次元平面であれば円、３次元空間であれば球）を許容領域として設定する。 Further, an average coordinate obtained by averaging all feature point coordinates extracted at each resample time position (that is, all feature point coordinates constituting the coordinate group at each resample time position) is obtained, and the average coordinate is obtained. Is set as the return point. Then, the distance between the calculated return point and all the feature point coordinates extracted at each resampling time position (that is, all the feature point coordinates constituting the coordinate group at each resampling time position) ( Hereinafter, the detection distance is calculated, and the standard deviation is obtained from all of the calculated detection distances. Thereafter, an area (a circle for a two-dimensional plane, a sphere for a three-dimensional space) having a radius (hereinafter referred to as an allowable distance) three times the calculated standard deviation is set as an allowable area.
つまり、許容領域は、図８に示すように、帰着点を中心に複数の特徴点座標が含まれるような大きさに設定されることになり、帰着点と、許容距離とによって表される。
以上説明したように、１つの行動推定モデルは、標本座標分の帰着点と、それら帰着点を中心とした許容領域（以下では、標本座標毎に設定されたそれぞれの帰着点と許容領域とをテンプレートと称す。）とから構成されることになり、それらの帰着点（または、許容領域）の軌跡によって閉じられた曲線が表されることになる。
That is, as shown in FIG. 8, the allowable area is set to a size that includes a plurality of feature point coordinates around the return point, and is represented by the return point and the allowable distance.
As described above, one behavior estimation model includes a return point for sample coordinates and an allowable area centered on the return points (hereinafter, each return point and allowable area set for each sample coordinate). A curve that is closed by the trajectory of the return point (or allowable region) is represented.
つまり、画像処理プロセッサ１０は、撮影画像から検出される特徴点と、各行動推定モデルとを比較することで行動推定処理を実行可能に構成されている。
〈行動推定処理について〉
次に、画像処理プロセッサ１０が実行する行動推定処理について説明する。
That is, the image processing processor 10 is configured to be able to execute a behavior estimation process by comparing feature points detected from a captured image with each behavior estimation model.
<About behavior estimation processing>
Next, a behavior estimation process executed by the image processor 10 will be described.
ここで、図４は、行動推定処理の処理手順を示したフローチャートである。
この行動推定処理は、画像処理プロセッサ１０が起動されると（本実施形態では、イグニッションキーがＯＮにされると、画像処理プロセッサ１０は起動するものとする）実行されるものである。そして、行動推定処理が実行されると、まず、Ｓ１１０では、撮影装置１５で撮影した撮影画像を取得する。続く、Ｓ１２０では、Ｓ１１０で取得した撮影画像に特徴点リストを照合することで、撮影画像に写り込んだ運転者の全ての特徴点を抽出する。
Here, FIG. 4 is a flowchart showing the processing procedure of the behavior estimation processing.
This behavior estimation process is executed when the image processor 10 is activated (in this embodiment, the image processor 10 is activated when the ignition key is turned ON). When the behavior estimation process is executed, first, in S110, a photographed image photographed by the photographing device 15 is acquired. In S120, the feature point list is collated with the captured image acquired in S110 to extract all the feature points of the driver reflected in the captured image.
なお、この特徴点を抽出する処理については、例えば、特開２００３−１０９０１５号に記載のように周知の技術であるため、ここでの詳しい説明は省略する。
さらに、Ｓ１３０では、Ｓ１２０にて抽出した特徴点と、ＲＯＭ１０ｂに格納された行動推定モデルとを比較し、運転者が肩回し行動をとっているか否かを判定するモデル照合処理を実行する。
Note that the process of extracting the feature points is a well-known technique as described in, for example, Japanese Patent Application Laid-Open No. 2003-109015, and thus detailed description thereof is omitted here.
Furthermore, in S130, the feature matching extracted in S120 and the behavior estimation model stored in the ROM 10b are compared, and a model matching process is performed to determine whether or not the driver is taking a shouldering action.
続く、Ｓ１４０では、Ｓ１３０のモデル照合処理での判定結果が確かなものであるか否かを確認する行動認定処理を実行する。つまり、この行動認定処理では、モデル照合処理で判定され、運転者が肩回し行動をとっていることが確かであるか否かを判定する。 In S140, an action recognition process for confirming whether or not the determination result in the model matching process in S130 is certain is executed. That is, in this action recognition process, it is determined in the model matching process, and it is determined whether or not it is certain that the driver is taking a shoulder action.
そして、Ｓ１５０では、Ｓ１４０における行動認定処理での判定の結果、肩回し行動をとっていることが確かであることが確認された場合、Ｓ１６０へと進む。具体的に、本実施形態のＳ１５０では、後述する確定行動フラグがハイレベルであれば、肩回し行動をとっていることが確かであるものとする。 Then, in S150, if it is confirmed that it is certain that the shoulder turning action is taken as a result of the determination in the action recognition process in S140, the process proceeds to S160. Specifically, in S150 of the present embodiment, it is assumed that it is certain that the shoulder-turning action is taken when the later-described confirmed action flag is at a high level.
そのＳ１６０では、運転者が疲労を感じているものとして、運転者の疲労を低減するための疲労低減処理を実行し、その後、Ｓ１１０へと戻る。具体的に、本実施形態の疲労低減処理では、空調制御装置２２に制御指令を出力し、制御指令を受信した空調制御装置２２は、運転者に対して冷気を吹きかけるように空気調和装置を制御する。 In S160, assuming that the driver feels fatigue, a fatigue reduction process for reducing the driver's fatigue is performed, and then the process returns to S110. Specifically, in the fatigue reduction process of the present embodiment, the control command is output to the air conditioning control device 22, and the air conditioning control device 22 that has received the control command controls the air conditioner to blow cool air to the driver. To do.
一方、先のＳ１５０にて、肩回し行動をとっていることが確かではないことが確認された場合、Ｓ１１０へと戻る。
〈モデル照合処理について〉
次に、行動推定処理のＳ１３０で実行されるモデル照合処理について説明する。
On the other hand, when it is confirmed in the previous S150 that it is not certain that the shoulder turning action is taken, the process returns to S110.
<About model matching processing>
Next, the model matching process executed in S130 of the action estimation process will be described.
ここで、図５は、モデル照合処理の処理手順を示したフローチャートである。
この図５に示すように、モデル照合処理は、行動推定処理のＳ１３０で起動されると、まず、Ｓ２１０では、ＲＯＭ１０ａに格納されている行動推定モデル群から一つの行動推定モデル（即ち、右肩を回す行動が規定されたものか、左肩を回す行動が規定されたもののいずれか）を読み出す。
Here, FIG. 5 is a flowchart showing the processing procedure of the model matching processing.
As shown in FIG. 5, when the model matching process is started in S130 of the action estimation process, first, in S210, one action estimation model (ie, right shoulder model) is selected from the action estimation model group stored in the ROM 10a. Or the action that turns the left shoulder or the action that turns the left shoulder is prescribed).
続く、Ｓ２２０では、先のＳ１２０で抽出した特徴点を、人体の右肩（もしくは左肩）を原点とした相対座標系上の座標に変換する（以下では、変換後の特徴点を相対特徴点とする）。ただし、原点とする座標（即ち、右肩か左肩か）は、Ｓ２１０で読み出された行動推定モデルに規定された行動に従って、右肩を回す行動であれば右肩、左肩を回す行動であれば左肩に決定される。 In S220, the feature points extracted in S120 are converted into coordinates on the relative coordinate system with the right shoulder (or left shoulder) of the human body as the origin (hereinafter, the converted feature points are referred to as relative feature points). To do). However, the origin coordinate (that is, right shoulder or left shoulder) is an action that turns the right shoulder or the left shoulder if the action turns the right shoulder according to the action specified in the action estimation model read in S210. If left shoulder is decided.
具体的に、本実施形態では、手首、もしくは肘の座標から肩の座標を減じることにより相対特徴点が求められる。
さらに、Ｓ２３０では、Ｓ２２０で求めた相対特徴点と、Ｓ２１０で読み出された行動推定モデルに含まれている全ての帰着点との距離（以下、判定距離とする）を算出する。
Specifically, in the present embodiment, the relative feature points are obtained by subtracting the shoulder coordinates from the wrist or elbow coordinates.
Further, in S230, distances between the relative feature points obtained in S220 and all return points included in the behavior estimation model read out in S210 (hereinafter referred to as determination distances) are calculated.
続くＳ２４０では、Ｓ２３０で算出した全判定距離の中から最も距離が短い最短判定距離を抽出し、その最短判定距離を算出するために用いられた帰着点を中心として設定された許容領域の許容距離を読み出して、Ｓ２５０へと進む。 In subsequent S240, the shortest determination distance with the shortest distance is extracted from all the determination distances calculated in S230, and the allowable distance of the allowable region set around the return point used for calculating the shortest determination distance. And proceeds to S250.
そして、Ｓ２５０では、Ｓ２４０で読み出した許容距離と、最短判定距離とを比較し、比較の結果、最短判定距離が許容距離以下であれば、Ｓ２８０へと進む。
そのＳ２８０では、運転者が肩回し行動をとっている可能性があることを示す特定行動フラグをハイレベルとする。ただし、特定行動フラグは、行動推定モデル毎、即ち、右肩を回す行動と左肩を回す行動とのそれぞれに予め用意されている。
In S250, the allowable distance read in S240 is compared with the shortest determination distance. If the shortest determination distance is equal to or smaller than the allowable distance as a result of the comparison, the process proceeds to S280.
In S280, the specific action flag indicating that there is a possibility that the driver is taking a shoulder turn action is set to the high level. However, the specific behavior flag is prepared in advance for each behavior estimation model, that is, for each of the behavior of turning the right shoulder and the behavior of turning the left shoulder.
つまり、Ｓ２８０では、運転者が肩回し行動をとっている可能性があることを、Ｓ２８０以降の処理（即ち、行動認定処理）にて識別可能なようにする。
その後、今回取得された撮影画像に対する処理（以下、今サイクルとする）でのモデル照合処理を終了して、行動推定処理のＳ１４０（即ち、行動認定処理）へと進む。
That is, in S280, it is possible to identify the possibility that the driver is taking a shoulder swinging action in the processes after S280 (that is, the action recognition process).
Thereafter, the model matching process in the process (hereinafter referred to as the current cycle) for the captured image acquired this time is terminated, and the process proceeds to the action estimation process S140 (that is, the action recognition process).
一方、Ｓ２５０での比較の結果、最短判定距離が許容距離よりも長ければ、Ｓ２６０へと進む。
そのＳ２６０では、ＲＯＭ１０ａに格納されている全ての行動推定モデルを適用して、Ｓ２１０からＳ２３０までの処理を実行したか否か、即ち、右肩を回す肩回し行動、左肩を回す肩回し行動のいずれか一方を検出するための行動推定モデルが未適用であるか否かを判定する。そして、判定の結果、全ての行動推定モデルを適用して処理を実行していないものと判定された場合、Ｓ２１０へと戻り、未だ適用されていない行動推定モデルを読み出し、その後Ｓ２２０からＳ２５０の処理を実行する。
On the other hand, as a result of the comparison in S250, if the shortest determination distance is longer than the allowable distance, the process proceeds to S260.
In S260, all the action estimation models stored in the ROM 10a are applied, and whether or not the processes from S210 to S230 are executed, that is, the shoulder turning action of turning the right shoulder and the shoulder turning action of turning the left shoulder. It is determined whether or not a behavior estimation model for detecting either one is not applied. If it is determined as a result of the determination that all the behavior estimation models have not been applied and the process has not been executed, the process returns to S210 to read a behavior estimation model that has not yet been applied, and then the processes from S220 to S250. Execute.
なお、Ｓ２６０での判定の結果、全ての行動推定モデルを適用して処理を終了したものと判定された場合、運転者が肩回し行動をとっていないことを示すように、全ての特定行動フラグをローレベルとし、その後、今サイクルでのモデル照合処理を終了して、行動推定処理のＳ１４０（即ち、行動認定処理）へと進む。 As a result of the determination in S260, when it is determined that all the behavior estimation models have been applied and the processing has been completed, all the specific behavior flags are displayed so as to indicate that the driver is not taking a shoulder-turning behavior. After that, the model matching process in the current cycle is terminated, and the process proceeds to the action estimation process S140 (that is, the action recognition process).
つまり、モデル照合処理では、相対特徴点が許容範囲内に位置していれば、運転者が肩回し行動をとっている可能性があるものと仮判定して、特定行動フラグをハイレベルとし、相対特徴点が許容範囲外に位置していれば、運転者が肩回し行動をとっていないものと仮判定して、特定行動フラグをローレベルとする。
〈行動認定処理について〉
次に、行動推定処理のＳ１４０で実行される行動認定処理について説明する。
That is, in the model matching process, if the relative feature point is located within the allowable range, it is temporarily determined that the driver may be turning and the specific action flag is set to the high level, If the relative feature point is located outside the allowable range, it is temporarily determined that the driver does not take a shoulder-turning action, and the specific action flag is set to a low level.
<About action certification processing>
Next, the action recognition process executed in S140 of the action estimation process will be described.
ここで、図６は、行動認定処理の処理手順を示したフローチャートである。
この行動認定処理は、行動推定処理のＳ１４０で実行されると、まず、Ｓ４１０では、特定行動フラグがハイレベルであるか否かを判定する。そして、判定の結果、特定行動フラグがハイレベルであれば、Ｓ４１５へと進む。つまり、今サイクルでのモデル照合処理におけるＳ２６０にて、全特定行動フラグのうち、いずれか一つがハイレベルとされれば、Ｓ４１５へと進む。
Here, FIG. 6 is a flowchart showing the processing procedure of the action recognition processing.
When the action recognition process is executed in S140 of the action estimation process, first, in S410, it is determined whether or not the specific action flag is at a high level. If the specific action flag is high as a result of the determination, the process proceeds to S415. That is, in S260 in the model matching process in the current cycle, if any one of all the specific action flags is set to the high level, the process proceeds to S415.
そのＳ４１５では、今サイクルでハイレベルとされた特定行動フラグが、前回取得された撮影画像に対する処理（以下、前サイクルとする）でもハイレベルとされているか否か、もしくは前サイクルでは全ての特定行動フラグがローレベルであるか否かを判定し、その結果、いずれか一方が満たされているものと判定されれば、Ｓ４２０へと進む。 In S415, whether or not the specific action flag set to the high level in the current cycle is also set to the high level in the processing (hereinafter referred to as the previous cycle) for the captured image acquired last time, It is determined whether or not the action flag is at a low level. As a result, if it is determined that either one is satisfied, the process proceeds to S420.
そのＳ４２０では、特定行動カウンタを一つ増加して、Ｓ４３０へと進む。
続くＳ４３０では、特定行動カウンタが予め規定された規定閾値以上であるか否かを判定する。なお、本実施形態における規定閾値は、例えば、０．５秒間の間に撮影される撮影画像の枚数であるものとする。つまり、Ｓ４３０では、予め規定された数サイクル連続して、最短判定距離が許容距離以下であるか否かを判定する。
In S420, the specific action counter is incremented by 1, and the process proceeds to S430.
In subsequent S430, it is determined whether or not the specific action counter is equal to or greater than a predetermined threshold value. Note that the specified threshold value in the present embodiment is, for example, the number of captured images captured during 0.5 seconds. That is, in S430, it is determined whether or not the shortest determination distance is equal to or less than the allowable distance continuously for several predetermined cycles.
そして、Ｓ４３０での判定の結果、特定行動カウンタが規定閾値以上である場合、即ち、数サイクル連続して、最短判定距離が許容距離以下である場合、Ｓ４４０へと進む。
そのＳ４４０では、規定時間連続して、運転者が肩回し行動をとっている、即ち、肩回し行動を運転者が確実にとっているものとして、確定行動フラグをハイレベルとする。なお、確定行動フラグは、行動推定モデル毎、即ち、左右の肩回し行動のそれぞれに予め用意されたものであり、ハイレベルであれば、その特定行動を運転者がとっていることを示し、ローレベルであれば、その特定行動を運転者がとっていないことを示す。
As a result of the determination in S430, if the specific action counter is equal to or greater than the specified threshold, that is, if the shortest determination distance is equal to or less than the allowable distance for several cycles, the process proceeds to S440.
In S440, the fixed action flag is set to the high level on the assumption that the driver is taking a shoulder-turning action for a specified period of time, that is, the driver is surely taking the shoulder-turning action. The confirmed action flag is prepared in advance for each action estimation model, that is, each of the left and right shoulder turning actions, and if it is high level, it indicates that the driver is taking the specific action, A low level indicates that the driver is not taking that specific action.
そして、その後、今サイクルでの行動認定処理を終了し、行動推定処理のＳ１５０へと進む。
一方、Ｓ４１０での判定の結果、特定行動フラグがローレベルである場合、もしくはＳ４１５での判定の結果、いずれも満たされていない（即ち、今サイクルでハイレベルとされた特定行動フラグとは異なる特定行動フラグのみがハイレベルである）場合には、Ｓ４５０へと進み、そのＳ４５０では、特定行動カウンタを全て初期値（即ち、０）とする。そして、Ｓ４６０へと進む。
Thereafter, the action recognition process in the current cycle is terminated, and the process proceeds to S150 of the action estimation process.
On the other hand, if the specific action flag is at the low level as a result of the determination in S410, or is not satisfied as a result of the determination in S415 (that is, different from the specific action flag set to the high level in the current cycle). If only the specific action flag is at the high level), the process proceeds to S450, and in S450, all the specific action counters are set to initial values (that is, 0). Then, the process proceeds to S460.
また、Ｓ４３０での判定の結果、特定行動カウンタが規定閾値未満である場合、即ち、規定時間、運転者が肩回し行動をとっていない場合にも、Ｓ４６０へと進む。
そのＳ４６０では、肩回し行動を運転者がとっていないものとして、確定行動フラグをローレベルとする。
Further, if the result of determination in S430 is that the specific action counter is less than the specified threshold value, that is, if the driver does not take a turning action for a specified time, the process proceeds to S460.
In S460, the confirmed action flag is set to the low level, assuming that the driver does not take the shoulder turning action.
そして、その後、今サイクルでの行動認定処理を終了し、行動推定処理のＳ１５０へと進む。
つまり、行動認定処理では、予め規定された数サイクル連続して、同一の特定行動フラグがハイレベルであれば、運転者が肩回し行動をとっていることが確からしいものと認定して、確定行動フラグをハイレベルとする。
〈動作例について〉
次に、行動推定装置１の動作例について説明する。
Thereafter, the action recognition process in the current cycle is terminated, and the process proceeds to S150 of the action estimation process.
In other words, in the action recognition process, if the same specific action flag is at a high level for several consecutive cycles in advance, it is determined that the driver is surely taking a shouldering action and confirmed. The action flag is set to high level.
<Operation example>
Next, an operation example of the behavior estimation apparatus 1 will be described.
ここで、図９は、運転者が左肩を回している肩回し行動をとり、開始姿勢から終端姿勢へと遷移していく様子と、運転者が肩回し行動をとっている時の特徴点が遷移していく様子を示した説明図である。 Here, FIG. 9 shows how the driver takes a shoulder turning action while turning the left shoulder, a transition from the start posture to the end posture, and characteristic points when the driver takes the shoulder turn behavior. It is explanatory drawing which showed a mode that it changes.
なお、以下では、図９に示すように、運転者が肩回し行動をとるために開始姿勢（図中、（Ａ））となってから、中間姿勢（図中、（Ｂ），（Ｃ），（Ｄ））を経て、終端姿勢（図中，（Ａ））となるまでの様子を連続的に収めた撮影画像を順次取得可能な状態で行動推定処理を実行したものとして説明する。 In the following, as shown in FIG. 9, the driver takes a starting posture ((A) in the figure) to take a shoulder-turning action, and then intermediate postures ((B), (C) in the figure). , (D)) and the behavior estimation process is executed in a state in which captured images continuously containing the state until the end posture ((A) in the figure) can be sequentially acquired are described.
行動推定処理では、図９（Ａ）に示すような開始姿勢が収められた撮影画像を取得すると、その撮影画像から求められる相対特徴点が、複数あるテンプレートのうち、一つのテンプレートにおける許容領域内に位置している（即ち、図９に示すような許容領域の内側に相対特徴点が位置している）ことを認識する。このため、行動推定装置１は、運転者が肩回し行動をとっているものと仮判定し、次の撮影画像を取得する。 In the behavior estimation process, when a captured image containing a starting posture as shown in FIG. 9A is acquired, relative feature points obtained from the captured image are within an allowable region in one template among a plurality of templates. (That is, the relative feature point is located inside the allowable region as shown in FIG. 9). For this reason, the behavior estimation apparatus 1 tentatively determines that the driver is taking a shoulder swinging action, and acquires the next captured image.
そして、図９（Ｂ），（Ｃ），（Ｄ）に示すような中間姿勢が連続して収められた撮影画像を行動推定装置１が取得すると、行動推定処理では、開始姿勢が収められた撮影画像を取得した時と同様に、相対特徴点が、複数あるテンプレートのうち、一つのテンプレートにおける許容領域内に位置していることを認識する。即ち、図９（Ｂ），（Ｃ），（Ｄ）に示すような各許容領域の内側に相対特徴点が位置しているため、運転者が肩回し行動をとっているものと仮判定する。 Then, when the behavior estimation apparatus 1 acquires a captured image in which intermediate postures are continuously stored as shown in FIGS. 9B, 9C, and 9D, the start posture is stored in the behavior estimation processing. As in the case where the captured image is acquired, it is recognized that the relative feature point is located within the allowable area in one template among a plurality of templates. That is, since the relative feature point is located inside each allowable region as shown in FIGS. 9B, 9 </ b> C, and 9 </ b> D, it is temporarily determined that the driver is taking a shoulder turn. .
さらに、行動推定処理では、規定閾値以上連続して、最短判定距離が許容距離以下であるもの（即ち、運転者が肩回し行動をとっている）と判定した場合、運転者が肩回し行動をとっていることが確からしいものと認定する。 Further, in the behavior estimation process, if it is determined that the shortest determination distance is equal to or less than the allowable distance continuously (that is, the driver is taking a shoulder-turning action) continuously over a specified threshold value, It is recognized that it is certain that it is taken.
これにより、行動推定装置１は、運転者が肩回し行動をとっていることを確定し、運転者の疲労を低減すべく、疲労低減処理を実行する。
［実施形態の効果］
以上説明したように、本実施形態の行動推定装置１によれば、撮影画像から抽出された特徴点と、予め設定された行動推定モデルとを比較することにより、撮影画像に写り込んだ人物（即ち、運転者）が肩回し行動をとっていることを検出することができる。
As a result, the behavior estimation apparatus 1 determines that the driver is taking a shoulder swinging action, and executes a fatigue reduction process to reduce the driver's fatigue.
[Effect of the embodiment]
As described above, according to the behavior estimation apparatus 1 of the present embodiment, the person (in the captured image) is compared by comparing the feature points extracted from the captured image with a preset behavior estimation model. That is, it is possible to detect that the driver is taking a shoulder turn.
そして、行動推定装置１では、運転者が肩回し行動をとっていることが検出された場合には、疲労度が通常時よりも高くなっているものとして、疲労低減制御を実行し、運転者に冷風を吹きかけるため、運転者の疲労度を低減させることができる。この結果、より安全な運転を運転者にさせることができる。 Then, in the behavior estimation device 1, when it is detected that the driver is taking a shouldering action, the fatigue reduction control is executed on the assumption that the degree of fatigue is higher than normal, and the driver Since cold air is sprayed on the driver, the driver's fatigue can be reduced. As a result, the driver can be driven more safely.
また、上記実施形態の行動推定装置１によれば、行動認定処理にて、予め規定された数サイクル連続して、最短判定距離が許容距離以下であるものと判定された場合に、肩回し行動がとられていることが確からしいものと認定するため、１サイクル（より正確には、規定閾値未満）だけ偶発的に肩回し行動がとられていることが検出された時に、疲労低減処理が実行されることを防止できる。つまり、行動推定装置１によれば、誤って肩回し行動をとっているものと認定して、疲労低減処理が実行されることで、運転者らに不快感を与えることを防止できる。
［その他の効果］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。
Further, according to the behavior estimation device 1 of the above embodiment, when it is determined that the shortest determination distance is equal to or less than the permissible distance in a predetermined number of cycles in the behavior recognition process, the shoulder turning behavior is performed. When it is detected that the shoulder is accidentally swung for one cycle (more precisely, less than the specified threshold), the fatigue reduction process is performed. It can be prevented from being executed. In other words, according to the behavior estimation device 1, it is possible to prevent the drivers from feeling uncomfortable by performing the fatigue reduction process by certifying that the shoulder-taking behavior is taken by mistake.
[Other effects]
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, In the range which does not deviate from the summary of this invention, it is possible to implement in various aspects.
例えば、上記実施形態の行動推定装置１においては、行動推定処理のＳ１６０で実行される疲労低減処理にて、空調制御装置２２に制御指令を出力して、運転者に対して、冷風を吹きかけるように制御したが、疲労低減処理にて実行される制御は、これに限るものではなく、ナビゲーション装置２１に制御指令を出力し、搭載車両周辺に位置し、運転者が休憩可能な休憩施設の情報（例えば、休憩施設の位置や、その休憩施設が有している設備の内容）を報知させても良い。 For example, in the behavior estimation device 1 of the above-described embodiment, the control command is output to the air conditioning control device 22 in the fatigue reduction process executed in S160 of the behavior estimation process, and the driver is blown with cold air. However, the control executed in the fatigue reduction process is not limited to this, and a control command is output to the navigation device 21 and information on the resting facilities that are located around the vehicle on which the driver can rest. (For example, the location of the break facility and the contents of the facilities that the break facility has) may be notified.
このような場合であっても、運転者に休憩をとるように促すことで、上記実施形態の行動推定装置１と同様に、より安全な運転を運転者に行わせることができる。
また、上記実施形態の行動推定装置１においては、行動推定処理のＳ１６０にて、運転者の疲労を低減するための疲労低減処理を実行したが、Ｓ１６０にて実行される処理は、これに限るものではなく、例えば、警報を発する等の処理でも良い。
Even in such a case, by driving the driver to take a break, it is possible to cause the driver to perform safer driving as with the behavior estimation device 1 of the above-described embodiment.
Further, in the behavior estimation apparatus 1 of the above embodiment, the fatigue reduction process for reducing the driver's fatigue is performed in S160 of the behavior estimation process, but the process performed in S160 is limited to this. For example, processing such as issuing an alarm may be used.
なお、上記実施形態では、肩回し行動をとっているか否かを判定する対象の人物として、搭載車両の運転者を撮影画像に収めたが、判定の対象として撮影画像に収められる人物は、運転者に限るものではなく、例えば、搭載車両の助手席に着座している人物であっても良いし、その他の人物でも良い。 In the above-described embodiment, the driver of the on-board vehicle is included in the captured image as a target person who determines whether or not the shoulder-turning action is taken. The person is not limited to a person, and may be, for example, a person sitting in the passenger seat of the mounted vehicle or another person.
また、上記実施形態では、肩回し行動を検出対象の特定行動としたが、検出対象の特定行動は、これに限るものではなく、例えば、運転者が前腕を挙げてから（開始姿勢）、前腕が同じ地点に戻るまで（終端姿勢）の腕回し行動（即ち、肘を支点として、前腕を回す行動）や、中立の姿勢（開始姿勢）から体を左（もしくは、右）によじり、よじりきってから、体を右（もしくは、左）によじり、よじりきってから中立の姿勢に戻す（終端姿勢）腰回し行動（即ち、腰を支点に両肩を左右に回す行動）を、検出対象の特定行動としても良い。 In the above embodiment, the shoulder turning action is the specific action to be detected. However, the specific action to be detected is not limited to this. For example, after the driver raises the forearm (starting posture), the forearm Rotate the arm until it returns to the same point (end posture) (ie, rotate the forearm using the elbow as a fulcrum), or twist the body from the neutral posture (starting posture) to the left (or right). Then, turn your body to the right (or left), turn it back to the neutral position (end posture), and turn your hips (ie, turn your shoulders left and right with your hips at the fulcrum) It may be a specific action.
ただし、前者の腕回し行動を検出対象の特定行動とする場合には、腕回し行動によって手首が移動する時の帰着点、及び許容領域が、肘を原点とした相対座標系によって表された行動推定モデルがＲＯＭ１０ａに格納されている必要がある。また、後者の腰回し行動を検出対象の特定行動とする場合には、腰回し行動によって左右の肩が移動する時の帰着点、及び許容領域が、左右の肩の中点を原点とした相対座標系によって表された行動推定モデルがＲＯＭ１０ａに格納されている必要がある。 However, in the case of setting the former arm turning action as the specific action to be detected, the return point when the wrist moves due to the arm turning action and the allowable area are actions represented by a relative coordinate system with the elbow as the origin. The estimation model needs to be stored in the ROM 10a. In addition, when the latter is a specific action to be detected, the return point when the left and right shoulders move due to the hip action and the allowable area are relative to the midpoint of the left and right shoulders as the origin. The behavior estimation model represented by the coordinate system needs to be stored in the ROM 10a.
さらには、上記実施形態では、行動推定装置１を車両に搭載して使用したが、行動推定装置は、車両に搭載されていなくともよく、例えば、航空機や、船舶に搭載されていても良いし、これらの移動体に搭載されること無く使用されても良い。 Furthermore, in the said embodiment, although the action estimation apparatus 1 was mounted and used for the vehicle, the action estimation apparatus does not need to be mounted in the vehicle, for example, may be mounted in the aircraft or the ship. It may be used without being mounted on these moving bodies.
１…行動推定装置 １０…画像処理プロセッサ １０ａ…ＲＯＭ １０ｂ…ＲＡＭ １０ｃ…ＣＰＵ １５…撮影装置 ２１…ナビゲーション装置 ２２…空調制御装置 DESCRIPTION OF SYMBOLS 1 ... Action estimation apparatus 10 ... Image processor 10a ... ROM 10b ... RAM 10c ... CPU 15 ... Imaging device 21 ... Navigation apparatus 22 ... Air-conditioning control apparatus
Claims (5)
人物の身体上に予め設定されたポイントを特徴点とし、前記撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ人物の特徴点である検出特徴点を検出する特徴点検出手段と、
予め規定された特徴点がその特徴点とは別に規定された特徴点を中心に繰り返し移動する行動の各々を特定行動とし、前記特定行動をとった人物の連続的に変化する特徴点が位置する地点の各々を帰着点とし、前記帰着点毎に設けられ、前記特定行動をとった人物の特徴点が位置する可能性のある領域を許容領域として、前記特定行動ごとに、前記帰着点及び前記許容領域の少なくとも一方の軌跡によって閉じられた曲線で表される行動推定モデルを格納するモデル格納手段と、
前記特徴点検出手段にて検出される検出特徴点が、前記モデル格納手段に格納された行動推定モデルによって表される閉じられた曲線を形成する許容領域内に、予め規定された連続する時間である規定時間内に、予め規定された規定回数以上位置した認定状態である場合、前記撮影画像に写り込んだ人物が前記特定行動をとっているものと推定する行動推定手段と
を備えることを特徴とする行動推定装置。 Captured image acquisition means for acquiring a captured image obtained by capturing a person every time the captured image is captured;
A feature that uses a preset point on a person's body as a feature point and detects a detection feature point that is a feature point of the person reflected in the photographed image each time the photographed image is acquired by the photographed image acquisition unit Point detection means;
Each of the behaviors in which a predefined feature point repeatedly moves around a specified feature point separately from the feature point is defined as a specific behavior, and a continuously changing feature point of a person who has taken the specific behavior is located each of the ground point and return point that is provided for each of the return point, the area where the feature points with possibility of position of the person who took a specific action as permitted area, for each of the specific action, the return point a model storage means for storing the activity estimation model represented by a curve that is closed by at least one of the locus of 及 beauty the allowable region,
The detected feature points detected by the feature point detection means are within a permissible region that forms a closed curve represented by the behavior estimation model stored in the model storage means at a predetermined continuous time. within a certain specified time, in advance if defined a certified state defined number of times or more positions, characterized in that it comprises a behavior estimation means for estimating as a person fancy-through in the captured image is taking the specific action A behavior estimation device.
前記規定回数以上連続して、前記検出特徴点が前記許容領域内に位置した場合、前記認定状態とすることを特徴とする請求項１に記載の行動推定装置。 The behavior estimation means includes
The behavior estimation apparatus according to claim 1, wherein when the detected feature point is located in the allowable region continuously for the specified number of times or more, the authorized state is set.
現在位置を検出し、検出された現在位置周辺に位置する施設の情報を取得して、その取得した情報を報知可能なナビゲーション装置に対して、前記撮影画像に写り込んだ人物が休憩可能な休憩施設の情報を報知させるように制御指令を出力することを、前記疲労度低減制御として実行することを特徴とする請求項３に記載の行動推定装置。 The fatigue reducing means includes
A break in which a person reflected in the captured image can take a break with respect to a navigation device that detects the current position, acquires information on facilities located around the detected current position, and can notify the acquired information The behavior estimation apparatus according to claim 3, wherein outputting the control command so as to notify the facility information is executed as the fatigue level reduction control.
少なくとも冷房機能を有した空気調和装置の制御装置に対して、前記撮影画像に写り込んだ人物に冷風を吹きかけるように制御指令を出力することを、前記疲労度低減制御として実行することを特徴とする請求項３または請求項４に記載の行動推定装置。 The fatigue reducing means includes
A control command is output as the fatigue reduction control to output a control command so as to blow cool air on a person reflected in the photographed image to at least an air conditioner control device having a cooling function. The behavior estimation device according to claim 3 or claim 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007235455A JP4882930B2 (en) | 2007-09-11 | 2007-09-11 | Behavior estimation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007235455A JP4882930B2 (en) | 2007-09-11 | 2007-09-11 | Behavior estimation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009069975A JP2009069975A (en) | 2009-04-02 |
| JP4882930B2 true JP4882930B2 (en) | 2012-02-22 |
Family
ID=40606189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007235455A Expired - Fee Related JP4882930B2 (en) | 2007-09-11 | 2007-09-11 | Behavior estimation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4882930B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4613999B2 (en) | 2008-12-22 | 2011-01-19 | 株式会社デンソー | Action estimation device, program |
| JP4683123B2 (en) | 2008-12-24 | 2011-05-11 | 株式会社デンソー | Action estimation device, program |
| JP4973667B2 (en) * | 2009-01-16 | 2012-07-11 | 株式会社デンソー | Operation estimation apparatus and program |
| CN101814136B (en) * | 2010-02-11 | 2012-12-05 | 华南理工大学 | Napping behavior detection method based on fast Fourier transform |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3602975B2 (en) * | 1998-11-12 | 2004-12-15 | アルプス電気株式会社 | Optical disk drive |
| WO2006054542A1 (en) * | 2004-11-16 | 2006-05-26 | Nihon University | Fatigue judgment system, and fatigue judgment method |
| JP2007203913A (en) * | 2006-02-02 | 2007-08-16 | Denso Corp | Driving assistance device and driving assistance system |
-
2007
- 2007-09-11 JP JP2007235455A patent/JP4882930B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009069975A (en) | 2009-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4420081B2 (en) | Behavior estimation device | |
| JP5217754B2 (en) | Action estimation device, program | |
| EP3239900B1 (en) | Identification device, identification method, and recording medium recording identification program | |
| JP6421714B2 (en) | Vehicle control device | |
| JP5917841B2 (en) | Mood determination device and operation method of mood determination device | |
| CN110682913B (en) | Monitoring system | |
| JP7091983B2 (en) | Equipment control device | |
| JP4882930B2 (en) | Behavior estimation device | |
| JP2016057839A (en) | Facial direction detection device and warning system for vehicle | |
| JP6373323B2 (en) | MOBILE BODY CONTROL DEVICE AND MOBILE BODY | |
| JP4420100B2 (en) | Body part detection device | |
| CN114889542B (en) | Cabin cooperative control system and method based on driver monitoring and recognition | |
| JP4683123B2 (en) | Action estimation device, program | |
| JP4613999B2 (en) | Action estimation device, program | |
| JP2005182452A (en) | Device for detecting direction of face | |
| WO2021156914A1 (en) | Attention direction determination device and attention direction determination method | |
| JP2021129700A (en) | Reference value determination device and reference value determination method | |
| JP6973019B2 (en) | Driving support system and in-vehicle device | |
| US11823537B2 (en) | Information processing apparatus and information processing method | |
| JP2010044493A (en) | Action estimation device, and program | |
| JP2004287845A (en) | Line-of-sight detector for vehicle driver | |
| JP2021101288A (en) | Control device, computer program, and authentication system | |
| JP6909986B2 (en) | Identification device | |
| CN113221734A (en) | Image recognition method and device | |
| JP4973667B2 (en) | Operation estimation apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110502 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111108 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |