JP6229500B2 - Respiratory state measurement device - Google Patents
Respiratory state measurement device Download PDFInfo
- Publication number
- JP6229500B2 JP6229500B2 JP2014000918A JP2014000918A JP6229500B2 JP 6229500 B2 JP6229500 B2 JP 6229500B2 JP 2014000918 A JP2014000918 A JP 2014000918A JP 2014000918 A JP2014000918 A JP 2014000918A JP 6229500 B2 JP6229500 B2 JP 6229500B2
- Authority
- JP
- Japan
- Prior art keywords
- nostril
- area
- state
- image
- respiratory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000241 respiratory effect Effects 0.000 title claims description 85
- 238000005259 measurement Methods 0.000 title claims description 41
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 30
- 230000006996 mental state Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 87
- 238000010191 image analysis Methods 0.000 description 8
- 230000003340 mental effect Effects 0.000 description 6
- 210000000214 mouth Anatomy 0.000 description 6
- 238000004378 air conditioning Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000018984 mastication Effects 0.000 description 2
- 238000010077 mastication Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003434 inspiratory effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Description
本発明は、呼吸状態計測装置に関する。 The present invention relates to a respiratory condition measurement device.
赤外線カメラを用いて車両の乗員の熱画像を取得し、その熱画像に基づき、呼吸による乗員の鼻孔や口元付近の温度変化のパターンを検出し、さらにその温度変化のパターンから乗員の呼吸周期を算出する技術が提案されている（特許文献１参照）。 An infrared camera is used to acquire a thermal image of the vehicle occupant, and based on the thermal image, a pattern of temperature change near the nostril and mouth of the occupant due to breathing is detected, and the respiratory cycle of the occupant is determined from the temperature change pattern. A technique for calculating has been proposed (see Patent Document 1).
直射日光や空調の風が乗員の顔に当たる場合、乗員の鼻孔や口元付近の温度は呼吸とは無関係に上下する。また、咀嚼や発話のため、乗員が呼吸とは無関係に口を開いた場合、口腔内の温度が乗員の鼻孔や口元付近の温度に影響する。そのため、特許文献１の技術では、車両の乗員の呼吸状態を正確に計測することが困難であった。本発明は以上の点に鑑みなされたものであり、呼吸状態を正確に計測できる呼吸状態計測装置を提供することを目的とする。 When direct sunlight or air-conditioning wind hits the occupant's face, the temperature around the nostril or mouth of the occupant rises and falls regardless of breathing. In addition, when the occupant opens his / her mouth regardless of breathing due to mastication or speech, the temperature in the oral cavity affects the temperature in the nostril of the occupant or near the mouth. For this reason, it has been difficult to accurately measure the breathing state of the vehicle occupant with the technique of Patent Document 1. The present invention has been made in view of the above points, and an object of the present invention is to provide a respiratory state measurement device capable of accurately measuring a respiratory state.
本発明の呼吸状態計測装置は、車両の乗員における鼻孔を含む画像を取得する画像取得手段と、前記画像に基づき、前記鼻孔の面積を算出する鼻孔面積算出手段と、前記鼻孔の面積の変化に基づき前記乗員の呼吸状態を計測する呼吸状態計測手段とを備える。 The respiratory condition measurement device of the present invention includes an image acquisition unit that acquires an image including a nostril in a vehicle occupant, a nostril area calculation unit that calculates the nostril area based on the image, and a change in the nostril area. And a breathing state measuring means for measuring the breathing state of the occupant.
本発明の呼吸状態計測装置は、直射日光、空調の風、乗員の開口等の影響を受け難く、乗員の呼吸状態を正確に計測できる。
前記画像としては、例えば、熱画像が挙げられる。この場合、本発明の呼吸状態計測装置は、呼吸状態を一層正確に計測できる。
The respiratory state measurement device of the present invention is less susceptible to direct sunlight, air conditioning wind, occupant opening, and the like, and can accurately measure the occupant's respiratory state.
An example of the image is a thermal image. In this case, the respiratory condition measuring device of the present invention can measure the respiratory condition more accurately.
前記鼻孔面積算出手段は、例えば、鼻孔を含むパターン画像とのマッチングにより、前記画像の中から、鼻孔を含む領域を選択し、前記領域において、鼻孔の面積を算出することができる。この場合、本発明の呼吸状態計測装置は、呼吸状態を一層正確に計測できる。 The nostril area calculating means can select a region including the nostril from the image, for example, by matching with a pattern image including the nostril, and calculate the area of the nostril in the region. In this case, the respiratory condition measuring device of the present invention can measure the respiratory condition more accurately.
本発明の呼吸状態計測装置は、例えば、前記画像に基づき、左右の鼻孔の中から、前記鼻孔面積算出手段により面積を算出する鼻孔を選択する鼻孔選択手段を備え、前記鼻孔面積算出手段は、前記鼻孔選択手段により選択した鼻孔を含む前記パターン画像を用いることができる。この場合、本発明の呼吸状態計測装置は、呼吸状態を一層正確に計測できる。 The respiratory condition measurement device of the present invention includes, for example, nostril selection means for selecting a nostril for calculating an area by the nostril area calculation means from left and right nostrils based on the image, and the nostril area calculation means includes: The pattern image including the nostril selected by the nostril selection means can be used. In this case, the respiratory condition measuring device of the present invention can measure the respiratory condition more accurately.
本発明の呼吸状態計測装置は、例えば、前記呼吸状態に基づき、前記乗員の心身状態を判断する心身状態判断手段を備えることができる。この場合、呼吸状態計測装置は、乗員の心身状態を判断することができる。 The respiratory state measurement device of the present invention can include, for example, a mind-body state determination unit that determines the mind-body state of the occupant based on the respiratory state. In this case, the respiratory state measurement device can determine the state of mind and body of the occupant.
本発明の呼吸状態計測装置は、例えば、前記呼吸状態に基づき、前記乗員に対する処理を選択する処理選択手段を備えることができる。この場合、呼吸状態計測装置は、乗員に対する処理を適切に選択することができる。 The respiratory condition measurement device of the present invention can include, for example, a process selection unit that selects a process for the occupant based on the respiratory condition. In this case, the respiratory condition measurement device can appropriately select the processing for the occupant.
本発明の実施形態を図面に基づき説明する。
＜第１の実施形態＞
１．呼吸状態計測装置１の構成
呼吸状態計測装置１の構成を図１に基づき説明する。呼吸状態計測装置１は、車両に搭載される車載装置である。呼吸状態計測装置１は、赤外線カメラ３、画像解析部５、呼吸状態計測部７、心身状態判断部９、フィードバック手法選択部１１、各種車載機器制御部１３、第１の記憶部１５、及び第２の記憶部１７を備えている。
Embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
1. Configuration of Respiratory State Measuring Device 1 The configuration of the respiratory state measuring device 1 will be described with reference to FIG. The respiratory condition measuring device 1 is an in-vehicle device mounted on a vehicle. The respiratory state measurement device 1 includes an infrared camera 3, an image analysis unit 5, a respiratory state measurement unit 7, a mind and body state determination unit 9, a feedback method selection unit 11, various in-vehicle device control units 13, a first storage unit 15, and a first storage unit 15. Two storage units 17 are provided.
赤外線カメラ３は、車室内のステアリングコラム、ダッシュボード、天井等に設置することができる。赤外線カメラ３は、ドライバの顔全体を含む範囲の画像（以下、顔画像とする）を取得する。図８に示すように、顔画像２０１には、ドライバの顔２０３、及びドライバの鼻２０５が含まれる。赤外線カメラ３により取得できる顔画像は、熱画像である。熱画像とは、画像中に含まれる物体の温度により色が異なる画像であり、例えば、高温部は赤く、低温部は青く表示される。 The infrared camera 3 can be installed on a steering column, dashboard, ceiling, or the like in the vehicle interior. The infrared camera 3 acquires an image in a range including the entire face of the driver (hereinafter referred to as a face image). As shown in FIG. 8, the face image 201 includes a driver's face 203 and a driver's nose 205. The face image that can be acquired by the infrared camera 3 is a thermal image. A thermal image is an image whose color differs depending on the temperature of an object included in the image. For example, a high temperature portion is displayed in red and a low temperature portion is displayed in blue.
画像解析部５、呼吸状態計測部７、心身状態判断部９、フィードバック手法選択部１１、及び各種車載機器制御部１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるコンピュータにより実現される構成であり、それぞれ、後述する処理を実行する。 The image analysis unit 5, the respiratory state measurement unit 7, the psychosomatic state determination unit 9, the feedback method selection unit 11, and the various in-vehicle device control units 13 are configured by a computer including a CPU, a ROM, a RAM, and the like. , Processing described later is executed.
各種車載機器制御部１３は、車両に搭載された各種車載機器を制御する。車載機器には、車室内に設置され、画像を表示可能なディスプレイ、車室内に設置され、音声を出力可能なスピーカ、車室内の温度や湿度を制御する空調装置、ハンドルやドライバシートを振動させる機構（以下、振動機構とする）、カーオーディオ等が含まれる。 The various in-vehicle device control units 13 control various in-vehicle devices mounted on the vehicle. For in-vehicle devices, a display installed in the passenger compartment and capable of displaying images, a speaker installed in the passenger compartment and capable of outputting sound, an air conditioner that controls the temperature and humidity in the passenger compartment, and a handle and driver seat are vibrated A mechanism (hereinafter referred to as a vibration mechanism), a car audio, and the like are included.
また、心身状態判断部９は、後述するように判断したドライバの心身状態を車両制御部１０３に出力する。なお、車両制御部１０３は、ドライバの心身状態に基づき、車両の運転アシストを行う構成であって、車線キープ制御、自動ブレーキ制御、自動速度制御などの処理を行う。詳しくは後述する。 The mind-body state determination unit 9 outputs the driver's mind-body state determined as described later to the vehicle control unit 103. The vehicle control unit 103 is configured to assist driving of the vehicle based on the mental and physical state of the driver, and performs processing such as lane keeping control, automatic brake control, and automatic speed control. Details will be described later.
第１の記憶部１５、及び第２の記憶部１７は、いずれも、情報の書き込み、保存、及び読み出しが可能な周知の記憶装置である。第１の記憶部１５、及び第２の記憶部１７は、例えば、ハードディスクドライブとすることができる。 Each of the first storage unit 15 and the second storage unit 17 is a known storage device capable of writing, storing, and reading information. The first storage unit 15 and the second storage unit 17 can be, for example, hard disk drives.
なお、赤外線カメラ３は画像取得手段の一実施形態であり、画像解析部５は鼻孔面積算出手段及び鼻孔選択手段の一実施形態であり、呼吸状態計測部７は呼吸状態計測手段の一実施形態であり、心身状態判断部９は心身状態判断手段の一実施形態であり、フィードバック手法選択部１１は処理選択手段の一実施形態である。 The infrared camera 3 is an embodiment of an image acquisition unit, the image analysis unit 5 is an embodiment of a nostril area calculation unit and a nostril selection unit, and the respiratory state measurement unit 7 is an embodiment of a respiratory state measurement unit. The psychosomatic state determination unit 9 is an embodiment of the psychosomatic state determination unit, and the feedback technique selection unit 11 is an embodiment of the process selection unit.
２．呼吸状態計測装置１が実行する処理
図２〜図１５に基づき、呼吸状態計測装置１が実行する処理を説明する。呼吸状態計測装置１は、車両のイグニッションがＯＮの期間中、図２に示す処理を所定時間ごとに繰り返し実行する。
2. Processing Performed by Respiratory State Measuring Device 1 Processing performed by the respiratory state measuring device 1 will be described with reference to FIGS. The breathing state measuring apparatus 1 repeatedly executes the process shown in FIG. 2 at predetermined time intervals while the vehicle ignition is ON.
ステップ１では、画像解析部５が、ドライバの左右の鼻孔のうち、後述する鼻孔面積算出処理において使用する１つの鼻孔を選択済みであるか否かを判断する。選択済みである場合はステップ３に進み、未だ選択していない場合はステップ２に進む。 In step 1, the image analysis unit 5 determines whether one nostril to be used in a nostril area calculation process described later has been selected from the left and right nostrils of the driver. If it has been selected, the process proceeds to step 3, and if it has not been selected, the process proceeds to step 2.
ステップ２では、画像解析部５が、鼻孔選択処理を実行する。この鼻孔選択処理を図３に基づき説明する。
図３のステップ１１では、赤外線カメラ３により、ドライバの顔画像を取得する。ドライバの顔画像２０１は、例えば、図９に示すものである。
In step 2, the image analysis unit 5 performs a nostril selection process. This nostril selection process will be described with reference to FIG.
In step 11 of FIG. 3, the driver's face image is acquired by the infrared camera 3. The driver's face image 201 is, for example, as shown in FIG.
ステップ１２では、図９に示す顔画像２０１のうち、一部の領域２０７を選択する。領域２０７は、顔画像２０１よりは小さく、ドライバの鼻２０５を含むことができる大きさを有する。領域２０７の選択は、次のように行う。 In step 12, a partial region 207 is selected from the face image 201 shown in FIG. The area 207 is smaller than the face image 201 and has a size that can include the driver's nose 205. The selection of the area 207 is performed as follows.
後述するステップ１８において探索終了フラグがＯＮとされたままの状態の場合は、顔画像２０１における一定の位置（例えば図９におけるＰ１の位置）を領域２０７とする。その後、探索終了フラグをＯＦＦとする。 If the search end flag remains ON in step 18 to be described later, a certain position (for example, the position P1 in FIG. 9) in the face image 201 is set as the area 207. Thereafter, the search end flag is turned OFF.
また、探索終了フラグがＯＦＦの状態の場合は、一回前のステップ１２において選択した領域２０７に隣接し、一定の方向にずれた同じ面積の領域を新たな領域２０７とする。例えば、一回前のステップ１２にて、図９におけるＰ１の位置を領域２０７として選択していた場合は、今回のステップ１２において、その隣のＰ２の位置を領域２０７として選択する。同様に、一回前のステップ１２にて、図９におけるＰ２の位置を領域２０７として選択していた場合は、今回のステップ１２において、その隣のＰ３の位置を領域２０７として選択する。 When the search end flag is OFF, a region having the same area adjacent to the region 207 selected in the previous step 12 and shifted in a certain direction is set as a new region 207. For example, if the position of P1 in FIG. 9 has been selected as the area 207 in the previous step 12, the adjacent position of P2 is selected as the area 207 in the current step 12. Similarly, if the position P2 in FIG. 9 is selected as the area 207 in the previous step 12, the position of the adjacent P3 is selected as the area 207 in the current step 12.
ステップ１３では、直前の前記ステップ１２で選択した領域２０７と、予め第１の記憶部１５に記憶しておいた、鼻孔を含むパターン画像とのパターンマッチングを行い、パターン画像と一致するか否かを判断する。ここで、鼻孔を含むパターン画像には、図１０Ａに示す第１のパターン画像２０９、図１０Ｂに示す第２のパターン画像２１１、及び図１０Ｃに示す第３のパターン画像２１３の３種類があり、それぞれのパターン画像でパターンマッチングを行う。 In step 13, pattern matching is performed between the area 207 selected in the previous step 12 and the pattern image including the nostril stored in advance in the first storage unit 15, and whether or not the pattern image matches the pattern image. Judging. Here, there are three types of pattern images including nostrils: a first pattern image 209 shown in FIG. 10A, a second pattern image 211 shown in FIG. 10B, and a third pattern image 213 shown in FIG. 10C. Pattern matching is performed on each pattern image.
第１のパターン画像２０９、第２のパターン画像２１１、及び第３のパターン画像２１３は、それぞれ、人間の鼻孔部を含む領域の特徴（相対温度のパターン）を有している。第１のパターン画像２０９は、右の鼻孔２１５と左の鼻孔２１７との両方が現れているパターン画像である。第２のパターン画像は、左の鼻孔２１７は現れているが、右の鼻孔２１５は現れていないパターン画像である。第３のパターン画像２１３は、右の鼻孔２１５は現れているが、左の鼻孔２１７は現れていないパターン画像である。 The first pattern image 209, the second pattern image 211, and the third pattern image 213 each have a feature (relative temperature pattern) of a region including a human nostril. The first pattern image 209 is a pattern image in which both the right nostril 215 and the left nostril 217 appear. The second pattern image is a pattern image in which the left nostril 217 appears but the right nostril 215 does not appear. The third pattern image 213 is a pattern image in which the right nostril 215 appears but the left nostril 217 does not appear.
領域２０７と、第１のパターン画像２０９、第２のパターン画像２１１、及び第３のパターン画像２１３のうちの少なくとも一つとがパターンマッチングにおいて一致すれば、ステップ１４に進み、いずれも一致しなかった場合はステップ１７に進む。 If the region 207 matches at least one of the first pattern image 209, the second pattern image 211, and the third pattern image 213 in pattern matching, the process proceeds to step 14, and none of them match. If so, go to Step 17.
ステップ１４では、直前のステップ１２で選択した領域２０７を、鼻孔を含む領域として決定する。
ステップ１５では、ドライバの左右の鼻孔の中から、後に鼻孔面積を算出する１つの鼻孔を選択する。具体的には以下のように行う。前記ステップ１３において、第１のパターン画像２０９と領域２０７とが一致した場合は、図１１に示すように、領域２０７において、右の鼻孔に相当する領域２０８と、左の鼻孔に相当する領域２１０とをそれぞれ抽出する。抽出は、円又は楕円近似した領域を抽出する方法であってもよいし、鼻孔に内接又は外接する矩形領域等を抽出する方法であってもよい。
In step 14, the region 207 selected in the previous step 12 is determined as a region including the nostril.
In step 15, one nostril for later calculating the nostril area is selected from the right and left nostrils of the driver. Specifically, it is performed as follows. If the first pattern image 209 coincides with the region 207 in step 13, as shown in FIG. 11, in the region 207, the region 208 corresponding to the right nostril and the region 210 corresponding to the left nostril. And are extracted respectively. The extraction may be a method of extracting a region that approximates a circle or an ellipse, or a method of extracting a rectangular region that is inscribed or circumscribed to the nostril.
次に、右の鼻孔に相当する領域２０８の面積と、左の鼻孔に相当する領域２１０の面積とをそれぞれ算出する。これらの面積は、鼻孔に相当する領域中に存在する画素数を計測する方法で算出できる。 Next, the area 208 corresponding to the right nostril and the area 210 corresponding to the left nostril are calculated. These areas can be calculated by a method of measuring the number of pixels present in the region corresponding to the nostril.
次に、右の鼻孔に相当する領域２０８の面積と、左の鼻孔に相当する領域２１０の面積とを対比し、面積が大きい方の鼻孔を、後に鼻孔面積を算出する１つの鼻孔として選択する。すなわち、右の鼻孔に相当する領域２０８の面積の方が大きい場合は、右の鼻孔を、後に鼻孔面積を算出する１つの鼻孔として選択し、左の鼻孔に相当する領域２１０の面積の方が大きい場合は、左の鼻孔を、後に鼻孔面積を算出する１つの鼻孔として選択する。 Next, the area of the region 208 corresponding to the right nostril is compared with the area of the region 210 corresponding to the left nostril, and the nostril having the larger area is selected as one nostril for calculating the nostril area later. . That is, when the area of the region 208 corresponding to the right nostril is larger, the right nostril is selected as one nostril for calculating the nostril area later, and the area of the region 210 corresponding to the left nostril is larger. If so, the left nostril is selected as one nostril for later calculation of nostril area.
また、前記ステップ１３において、第２のパターン画像２１１と領域２０７とが一致した場合は、左の鼻孔を、後に鼻孔面積を算出する１つの鼻孔として選択する。また、前記ステップ１３において、第３のパターン画像２１３と領域２０７とが一致した場合は、右の鼻孔を、後に鼻孔面積を算出する１つの鼻孔として選択する。 If the second pattern image 211 matches the area 207 in step 13, the left nostril is selected as one nostril for calculating the nostril area later. If the third pattern image 213 coincides with the region 207 in step 13, the right nostril is selected as one nostril for calculating the nostril area later.
ステップ１６では、後述する鼻孔面積算出処理で使用するパターン画像を、第１のパターン画像２０９、第２のパターン画像２１１、及び第３のパターン画像２１３の中から選択する。具体的には、以下のように行う。前記ステップ１５において、右の鼻孔を選択した場合は、右の鼻孔を含むパターン画像である、第１のパターン画像２０９及び第３のパターン画像２１３を選択する。 In step 16, a pattern image used in a nostril area calculation process described later is selected from the first pattern image 209, the second pattern image 211, and the third pattern image 213. Specifically, this is performed as follows. If the right nostril is selected in step 15, the first pattern image 209 and the third pattern image 213, which are pattern images including the right nostril, are selected.
また、前記ステップ１５において、左の鼻孔を選択した場合は、左の鼻孔を含むパターン画像である、第１のパターン画像２０９及び第２のパターン画像２１１を選択する。
一方、前記ステップ１３で否定判断した場合はステップ１７に進む。ステップ１７では、前回、探索終了フラグをＯＦＦからＯＮに切り換えた時点以降で、顔画像２０１の全領域を領域２０７として選択し尽くしたか否かを判断する。選択し尽くした場合はステップ１８に進み、探索終了フラグをＯＮにし、本処理を終了する。顔画像２０１のうち、領域２０７として選択されていない領域が残っている場合はステップ１２に進む。
If the left nostril is selected in step 15, the first pattern image 209 and the second pattern image 211, which are pattern images including the left nostril, are selected.
On the other hand, if a negative determination is made in step 13, the process proceeds to step 17. In step 17, it is determined whether or not the entire region of the face image 201 has been selected as the region 207 after the previous time when the search end flag was switched from OFF to ON. If all the selections have been made, the process proceeds to step 18 where the search end flag is set to ON and the present process ends. If an area not selected as the area 207 remains in the face image 201, the process proceeds to step 12.
図２に戻り、ステップ３では、画像解析部５が、赤外線カメラ３により、ドライバの顔画像を取得する。この顔画像は前記ステップ１１で取得するものと同様である。
ステップ４では、画像解析部５が、鼻孔面積算出処理を実行する。この鼻孔面積算出処理を図４に基づき説明する。
Returning to FIG. 2, in step 3, the image analysis unit 5 acquires the face image of the driver by the infrared camera 3. This face image is the same as that acquired in step 11 above.
In step 4, the image analysis unit 5 executes nostril area calculation processing. This nostril area calculation processing will be described with reference to FIG.
図４のステップ２１では、前記ステップ３で取得した顔画像のうち、一部の領域２０７を選択する。領域２０７の大きさ、及び領域２０７の選択方法は前記ステップ１２と同様である。 In step 21 in FIG. 4, a partial region 207 is selected from the face image acquired in step 3. The size of the area 207 and the method for selecting the area 207 are the same as in step 12 above.
ステップ２２では、直前の前記ステップ２１で選択した領域２０７と、前記ステップ２の鼻孔選択処理で選択した２つのパターン画像とのパターンマッチングを行い、少なくとも１つのパターン画像と一致するか否かを判断する。少なくとも１つのパターン画像と一致する場合はステップ２３に進み、いずれのパターン画像とも一致しない場合はステップ２６に進む。 In step 22, pattern matching is performed between the area 207 selected in the previous step 21 and the two pattern images selected in the nostril selection process in step 2, and it is determined whether or not they match at least one pattern image. To do. If it matches with at least one pattern image, the process proceeds to step 23, and if it does not match any pattern image, the process proceeds to step 26.
ステップ２３では、直前の前記ステップ２２で選択した領域２０７を、鼻孔を含む領域として決定する。
ステップ２４では、前記ステップ２３で鼻孔を含む領域として決定した領域２０７において、前記ステップ２の鼻孔選択処理で選択した１つの鼻孔の面積（以下、鼻孔面積とする）を算出する。すなわち、前記ステップ２の鼻孔選択処理で右の鼻孔を選択した場合は、領域２０７において、右の鼻孔に相当する領域を抽出し、その抽出した領域の面積を鼻孔面積として算出する。また、前記ステップ２の鼻孔選択処理で左の鼻孔を選択した場合は、領域２０７において、左の鼻孔に相当する領域を抽出し、その抽出した領域の面積を鼻孔面積として算出する。
In step 23, the area 207 selected in the immediately preceding step 22 is determined as an area including the nostril.
In step 24, the area of one nostril selected in the nostril selection process in step 2 (hereinafter referred to as the nostril area) in the area 207 determined as the area including the nostril in step 23 is calculated. That is, when the right nostril is selected in the nostril selection process in step 2, a region corresponding to the right nostril is extracted in the region 207, and the area of the extracted region is calculated as the nostril area. Further, when the left nostril is selected in the nostril selection process in step 2, a region corresponding to the left nostril is extracted from the region 207, and the area of the extracted region is calculated as the nostril area.
上述した抽出は、円又は楕円近似した領域を抽出する方法であってもよいし、鼻孔に内接又は外接する矩形領域等を抽出する方法であってもよい。また、鼻孔面積は、鼻孔に相当する領域中に存在する画素数を計測する方法で算出できる。 The above-described extraction may be a method of extracting a region approximated to a circle or an ellipse, or a method of extracting a rectangular region inscribed or circumscribed to the nostril. The nostril area can be calculated by a method of measuring the number of pixels present in the region corresponding to the nostril.
ステップ２５では、前記ステップ２４で算出した鼻孔面積を、その鼻孔面積を算出した時刻と紐付けして、第１の記憶部１５に記憶する。
一方、前記ステップ２２で否定判断した場合はステップ２６に進む。ステップ２６では、後述するステップ２７において探索終了フラグをＯＦＦからＯＮに切り換えた時点以降で、顔画像２０１の全領域を領域２０７として選択し尽くしたか否かを判断する。選択し尽くした場合はステップ２７に進み、探索終了フラグをＯＮにし、本処理を終了する。顔画像２０１のうち、領域２０７として選択されていない領域が残っている場合はステップ２１に進む。
In step 25, the nostril area calculated in step 24 is associated with the time when the nostril area was calculated and stored in the first storage unit 15.
On the other hand, if a negative determination is made in step 22, the process proceeds to step 26. In step 26, it is determined whether or not the entire region of the face image 201 has been selected as the region 207 after the time point when the search end flag is switched from OFF to ON in step 27 described later. If all the selections have been made, the process proceeds to step 27, the search end flag is set to ON, and this process ends. If an area not selected as the area 207 remains in the face image 201, the process proceeds to step 21.
図２に戻り、ステップ５では、呼吸状態計測部７が、呼吸状態計測処理を実行する。この呼吸状態計測処理を、図５に基づき説明する。図５のステップ３１では、その時点から１分間前の時点を始点とし、その時点を終点とする期間（以下、計測期間とする）内に、前記ステップ２５の処理により第１の記憶部１５に記憶した鼻孔面積のデータ数が所定数以上であるか否かを判断する。所定数以上である場合はステップ３２に進み、所定数未満である場合は本処理を終了する。 Returning to FIG. 2, in step 5, the respiratory condition measurement unit 7 executes a respiratory condition measurement process. This breathing state measurement process will be described with reference to FIG. In step 31 of FIG. 5, the first storage unit 15 is processed by the process of step 25 within a period (hereinafter referred to as a measurement period) starting from a point one minute before that point and ending at that point. It is determined whether or not the number of stored nostril area data is a predetermined number or more. If it is greater than or equal to the predetermined number, the process proceeds to step 32, and if it is less than the predetermined number, the present process is terminated.
ステップ３２では、計測期間内に記憶された鼻孔面積のデータに基づき、ドライバの呼吸状態を計測する。具体的には、以下のようにする。鼻孔面積は、ドライバの呼吸に伴い、変動する。すなわち、図１２Ａに示すように、呼気の時間帯では、右の鼻孔に相当する領域２０８及び左の鼻孔に相当する領域２１０の鼻孔面積はそれぞれ縮小し、図１２Ｂに示すように、吸気の時間帯では、右の鼻孔に相当する領域２０８及び左の鼻孔に相当する領域２１０の鼻孔面積はそれぞれ拡大する。そのため、例えば、図１５に示すように、鼻孔面積を算出した時刻を横軸とし、鼻孔面積を縦軸とするグラフを作成すると、鼻孔面積は、呼吸と同じ周期で周期的に変動する。 In step 32, the respiratory state of the driver is measured based on the data of the nostril area stored within the measurement period. Specifically, it is as follows. The nostril area varies as the driver breathes. That is, as shown in FIG. 12A, in the expiration time zone, the nostril areas of the region 208 corresponding to the right nostril and the region 210 corresponding to the left nostril are reduced, and as shown in FIG. In the band, the nostril areas of the region 208 corresponding to the right nostril and the region 210 corresponding to the left nostril are enlarged. Therefore, for example, as shown in FIG. 15, when a graph is created with the time when the nostril area is calculated as the horizontal axis and the nostril area as the vertical axis, the nostril area periodically fluctuates in the same cycle as breathing.
本ステップ３２では、時間の経過に伴う鼻孔面積の周期的な変化から、単位時間当りの呼吸回数、呼吸の周期、単位時間当りの呼気時間、単位時間当りの吸気時間等のパラメータを算出し、これらのパラメータを呼吸状態とする。 In step 32, parameters such as the number of breaths per unit time, the breathing cycle, the expiration time per unit time, and the inspiratory time per unit time are calculated from the periodic change in the nostril area over time. Let these parameters be the respiratory state.
図２に戻り、ステップ６では、心身状態判断部９が、心身状態判断処理を実行する。この心身状態判断処理を、図６に基づき説明する。図６のステップ４１では、前記ステップ５の呼吸状態計測処理において呼吸状態を計測済みであるか否かを判断する。呼吸状態を計測済みである場合はステップ４２に進み、未だ呼吸状態を計測していない場合は本処理を終了する。 Returning to FIG. 2, in step 6, the mind-body state determination unit 9 executes a mind-body state determination process. This psychosomatic state determination process will be described with reference to FIG. In step 41 of FIG. 6, it is determined whether or not the respiratory state has been measured in the respiratory state measurement process of step 5. If the respiratory state has been measured, the process proceeds to step 42, and if the respiratory state has not been measured yet, this process is terminated.
ステップ４２では、前記ステップ５の呼吸状態計測処理で計測した呼吸状態に基づき、ドライバの心身状態を判断する。具体的には以下のように行う。第２の記憶部１７には、予め、図１３に示す、呼吸状態とドライバの心身状態との関係を規定する対応マップが記憶されている。なお、ドライバの呼吸状態と心身状態には一定の関係があることが知られており、この対応マップはその関係に基づき作成されている。 In step 42, the mind and body state of the driver is determined based on the respiratory state measured in the respiratory state measurement process of step 5. Specifically, it is performed as follows. The second storage unit 17 stores in advance a correspondence map that defines the relationship between the breathing state and the mind and body state of the driver, as shown in FIG. It is known that there is a certain relationship between the breathing state and the mind and body state of the driver, and this correspondence map is created based on the relationship.
この対応マップに、前記ステップ５の呼吸状態計測処理で計測した呼吸状態を入力すると、それに対応するドライバの心身状態（心身状態の種類と、心身状態の強度との組）が出力される。 When the breathing state measured in the breathing state measurement process in step 5 is input to the correspondence map, the corresponding mind / body state of the driver (a set of the mind / body state type and the strength of the mind / body state) is output.
なお、図１３に示す対応マップにおいて、呼吸状態のＡ１、Ａ２、Ｂ１・・・は、例えば、単位時間当りの呼吸回数がｎ１〜ｎ２までの呼吸状態、単位時間当りの呼吸回数がｎ２〜ｎ３までの呼吸状態、単位時間当りの呼気時間がｍ１〜ｍ２までの呼吸状態のように、呼吸状態に含まれるパラメータが一定の範囲内である呼吸状態とすることができる。 In the correspondence map shown in FIG. 13, A1, A2, B1,... In the breathing state are, for example, breathing states in which the number of breaths per unit time is n1 to n2, and the number of breaths per unit time is n2 to n3. The respiratory state in which the parameters included in the respiratory state are within a certain range, such as the respiratory state up to and the respiratory state where the expiration time per unit time is m1 to m2.
ドライバの心身状態としては、図１３に示すように、眠気、緊張等がある。また、その他の心身状態として、ストレスの強さ、快適／不快、喜怒哀楽の感情、健康状態の程度等が挙げられる。 As shown in FIG. 13, the driver's mind-body state includes drowsiness, tension, and the like. Other mental and physical conditions include stress intensity, comfort / discomfort, emotions of emotion, emotional state, etc.
ステップ４３では、前記ステップ４２で判断した心身状態を、第２の記憶部１７に記憶する。
図２に戻り、ステップ７では、フィードバック手法選択部１１が、フィードバック手法選択処理を実行する。このフィードバック手法選択処理を図７に基づき説明する。図７のステップ５１では、前記ステップ６の心身状態判断処理において心身状態を判断済みであるか否かを判断する。心身状態を判断済みである場合はステップ５２に進み、未だ判断していない場合は本処理を終了する。
In step 43, the mental and physical state determined in step 42 is stored in the second storage unit 17.
Returning to FIG. 2, in step 7, the feedback method selection unit 11 executes a feedback method selection process. This feedback method selection processing will be described with reference to FIG. In step 51 of FIG. 7, it is determined whether or not the mental and physical state has been determined in the mental and physical state determination process of step 6. If the mental and physical state has already been determined, the process proceeds to step 52, and if not yet determined, the present process is terminated.
ステップ５２では、前記ステップ６の心身状態判断処理で判断した心身状態に基づき、ドライバに対して実行する処理（フィードバック手法）を選択する。具体的には以下のように行う。第２の記憶部１７には、予め、図１４に示す、心身状態とフィードバック手法との関係を規定する対応マップが記憶されている。この対応マップに、前記ステップ６の心身状態判断処理で判断した心身状態を入力すると、それに対応するフィードバック手法が出力される。 In step 52, a process (feedback method) to be executed for the driver is selected based on the mind-body state determined in the mind-body state determination process in step 6. Specifically, it is performed as follows. The second storage unit 17 stores in advance a correspondence map that prescribes the relationship between the psychosomatic state and the feedback method, as shown in FIG. When the psychosomatic state determined in the psychosomatic state determining process in step 6 is input to the correspondence map, a feedback method corresponding to the psychosomatic state is output.
フィードバック手法としては、冷風ｆ１、警報音ｆ３、振動ｆ５、振動ｆ７等がある。冷風ｆ１は、車両が備える空調装置により、ドライバに冷風を吹き付ける処理である。警報音ｆ３１は、車室内に設置されたスピーカにより警報音を出力する処理である。振動ｆ５、振動ｆ７は、車両に搭載された振動機構により、ハンドルやドライバシートを振動させる処理である。振動ｆ７は、振動ｆ５に比べて、振動の強度が高い。 Examples of feedback methods include cold air f1, alarm sound f3, vibration f5, and vibration f7. The cool air f1 is a process of blowing cool air to the driver by an air conditioner provided in the vehicle. The alarm sound f31 is a process for outputting an alarm sound from a speaker installed in the vehicle interior. The vibrations f5 and f7 are processes for vibrating the handle and the driver seat by a vibration mechanism mounted on the vehicle. The vibration f7 has higher vibration intensity than the vibration f5.
また、フィードバック処理として、音楽再生、エージェントによる発話、車両挙動制御等を実行してもよい。音楽再生は、車両に搭載されたカーオーディオ、スピーカ、音源駆動装置等を用いて実行できる。 Further, as the feedback process, music playback, agent utterance, vehicle behavior control, and the like may be executed. Music reproduction can be performed using a car audio, a speaker, a sound source driving device and the like mounted on the vehicle.
図２に戻り、ステップ８では、各種車載機器制御部１３が、車載機器を制御して、前記ステップ７で選択したフィードバック処理を実行する。
ステップ９では、心身状態判断部９が、前記ステップ６で判断した心身状態を表す信号を、車両制御部１０３に出力する。なお、車両制御部１０３は、その心身状態を表す信号に応じて、車両の運転アシストを行う。例えば、ドライバの心身状態が眠気である場合、車両制御部１０３は、白線を検知し、車両が車線から逸脱しないように自動的に操舵する処理（車線キープ制御）、先行車や障害物等の方向及び距離を検出し、必要に応じて自動的にブレーキをかける処理（自動ブレーキ処理）、車両の速度を一定に保つ処理（自動速度制御）等のうちの一部又は全部を行う。
Returning to FIG. 2, in step 8, the various vehicle-mounted device control units 13 control the vehicle-mounted device and execute the feedback process selected in step 7.
In step 9, the mind-body state determination unit 9 outputs a signal representing the mind-body state determined in step 6 to the vehicle control unit 103. Note that the vehicle control unit 103 assists in driving the vehicle in accordance with a signal indicating the state of mind and body. For example, when the driver's mind and body state is drowsiness, the vehicle control unit 103 detects a white line and automatically steers the vehicle so that it does not deviate from the lane (lane keeping control), a preceding vehicle, an obstacle, etc. The direction and distance are detected, and part or all of processing for automatically braking (automatic braking processing), processing for keeping the vehicle speed constant (automatic speed control), and the like are performed as necessary.
また、ドライバの心身状態が緊張である場合、車両制御部１０３は、ハンドル、アクセルペダル、ブレーキペダル等の可動範囲を通常より狭くし、急激な運転動作を抑制する処理を実行する。 In addition, when the driver's mind and body condition is tension, the vehicle control unit 103 executes a process of narrowing the movable range of the steering wheel, the accelerator pedal, the brake pedal, and the like to suppress sudden driving operation.
３．呼吸状態計測装置１が奏する効果
（１）呼吸状態計測装置１は、ドライバの呼吸状態を非接触で計測することができる。そのため、センサ等をドライバに装着する必要がないので、ドライバは煩わしさや物理的な締め付けを感じ難い。
3. Effects produced by the respiratory state measurement device 1 (1) The respiratory state measurement device 1 can measure the respiratory state of the driver in a non-contact manner. Therefore, since it is not necessary to attach a sensor or the like to the driver, it is difficult for the driver to feel annoyance and physical tightening.
（２）呼吸状態計測装置１は、直射日光や空調の風がドライバの顔に当たっている場合でも、それらの影響を受け難く、呼吸状態を正確に計測できる。また、呼吸状態計測装置１は、ドライバが咀嚼や発話のため、呼吸とは無関係に口を開いた場合でも、その影響を受け難く、呼吸状態を正確に計測できる。 (2) The breathing state measurement device 1 can accurately measure the breathing state without being influenced by the direct sunlight or air-conditioning wind hitting the driver's face. In addition, the respiratory state measurement device 1 can accurately measure the respiratory state even when the driver opens his / her mouth regardless of breathing because of mastication or speech, and is hardly affected by the influence.
（３）呼吸状態計測装置１は、呼吸状態の計測に熱画像を用いるので、鼻孔面積を一層正確に算出できる。その結果、呼吸状態計測装置１は、呼吸状態を一層正確に計測できる。 (3) Since the respiratory state measurement device 1 uses a thermal image for measurement of the respiratory state, the nostril area can be calculated more accurately. As a result, the respiratory condition measuring device 1 can measure the respiratory condition more accurately.
（４）呼吸状態計測装置１は、鼻孔選択処理において、左右の鼻孔の中から、顔画像において認識できる一方の鼻孔（２つの鼻孔とも認識できる場合は、鼻孔面積がより大きい鼻孔）を選択し、その鼻孔の鼻孔面積を算出する。そのため、ドライバの顔の向き等に起因して、一方の鼻孔が顔画像において認識し難い場合でも、他方の鼻孔を用いて鼻孔面積を正確に算出できる。その結果、呼吸状態計測装置１は、呼吸状態を一層正確に計測できる。 (4) In the nostril selection process, the respiratory condition measuring device 1 selects one nostril that can be recognized in the face image from the left and right nostrils (if the two nostrils can be recognized, the nostril having a larger nostril area). The nostril area of the nostril is calculated. Therefore, even if one nostril is difficult to recognize in the face image due to the orientation of the face of the driver, the nostril area can be accurately calculated using the other nostril. As a result, the respiratory condition measuring device 1 can measure the respiratory condition more accurately.
（５）呼吸状態計測装置１は、呼吸状態に基づき、ドライバの心身状態を判断することができる。ドライバの心身状態は、フィードバック手法の選択や、車両制御部１０３による運転アシストに利用することができる。 (5) The respiratory state measurement device 1 can determine the mind and body state of the driver based on the respiratory state. The mind and body state of the driver can be used for selection of a feedback method and driving assistance by the vehicle control unit 103.
（６）呼吸状態計測装置１は、ドライバの心身状態に基づき、ドライバに対するフィードバック手法を選択することができる。そのため、ドライバの心身状態に応じた適切なフィードバック手法を実行し、ドライバの心身状態を改善したり、車両の安全性を向上したりすることができる。
＜その他の実施形態＞
（１）呼吸状態計測装置１は、ドライバ以外の車両の乗員について、呼吸状態及び心身状態を計測し、それに応じて、ドライバ以外の乗員にフィードバック手法を実行してもよい。この場合、赤外線カメラ３は、少なくとも、ドライバ以外の乗員の顔画像を取得する。赤外線カメラ３は車両の乗員全員を撮影してもよいし、車室の前方と後方にそれぞれ設けられていてもよいし、車両のシートごとに設けられていてもよい。
(6) The respiratory state measurement device 1 can select a feedback method for the driver based on the mind and body state of the driver. Therefore, it is possible to execute an appropriate feedback method according to the mind and body state of the driver, improve the mind and body state of the driver, and improve the safety of the vehicle.
<Other embodiments>
(1) The breathing state measurement device 1 may measure the breathing state and the mind and body state of a vehicle occupant other than the driver, and may execute a feedback method for the occupant other than the driver accordingly. In this case, the infrared camera 3 acquires at least a face image of an occupant other than the driver. The infrared camera 3 may photograph all occupants of the vehicle, may be provided at the front and rear of the passenger compartment, or may be provided for each vehicle seat.
（２）呼吸状態計測装置１は、前記ステップ２４において、左右の鼻孔の鼻孔面積をそれぞれ算出してもよい。この場合、前記ステップ２５で鼻孔面積を記憶するときは、鼻孔面積に、どちらの鼻孔の鼻孔面積であるかを示す識別タグを紐付けして記憶する。 (2) The respiratory condition measuring apparatus 1 may calculate the nostril areas of the left and right nostrils in the step 24, respectively. In this case, when the nostril area is stored in step 25, an identification tag indicating which nostril area is associated is stored in the nostril area.
また、左右の鼻孔の鼻孔面積をそれぞれ算出する場合、前記ステップ３２において、一方の鼻孔の鼻孔面積に基づき呼吸状態を計測してもよいし、左の鼻孔の鼻孔面積に基づく呼吸状態と、右の鼻孔の鼻孔面積に基づく呼吸状態とをそれぞれ計測してもよい。 When calculating the nostril areas of the right and left nostrils, in step 32, the respiratory state may be measured based on the nostril area of one nostril, the respiratory state based on the nostril area of the left nostril, And the respiratory state based on the nostril area of each nostril.
（３）呼吸状態計測装置１は、呼吸状態とフィードバック手法とを対応付けた対応マップを予め備えていてもよい。この場合、前記ステップ７で計測した呼吸状態を、その対応マップに入力し、実行するべきフィードバック手法を選択することができる。 (3) The respiratory state measurement device 1 may include a correspondence map in which the respiratory state and the feedback method are associated with each other. In this case, the respiratory state measured in step 7 can be input to the corresponding map, and a feedback method to be executed can be selected.
（４）呼吸状態計測装置１は、前記ステップ７で計測した呼吸状態に基づき、特開２００７−１５５４９号公報記載の技術のように、空調制御を行ってもよい。
（５）赤外線カメラ３の代わりに、通常のカメラ（可視光の像を撮像するカメラ）を用いてもよい。この場合、通常のカメラの画像を用いて、赤外線カメラ３の場合と同様に、鼻孔面積を算出することができる。
(4) The respiratory state measurement device 1 may perform air conditioning control based on the respiratory state measured in Step 7 as in the technique described in Japanese Patent Application Laid-Open No. 2007-15549.
(5) Instead of the infrared camera 3, a normal camera (a camera that captures an image of visible light) may be used. In this case, the nostril area can be calculated using an image of a normal camera as in the case of the infrared camera 3.
（６）呼吸状態計測装置１は、呼吸状態を表す信号を車両制御部１０３に出力してもよい。この場合、車両制御部１０３は、呼吸状態に予め対応付けられた車両制御を行うことができる。 (6) The respiratory condition measurement device 1 may output a signal representing the respiratory condition to the vehicle control unit 103. In this case, the vehicle control unit 103 can perform vehicle control associated with the breathing state in advance.
１…呼吸状態計測装置、３…赤外線カメラ、５…画像解析部、７…呼吸状態計測部、９…心身状態判断部、１１…フィードバック手法選択部、１３…各種車載機器制御部、１５…第１の記憶部、１７…第２の記憶部、１０３…車両制御部、２０１…顔画像、２０３…顔、２０５…鼻、２０７…領域、２０８…右の鼻孔に相当する領域、２０９…第１のパターン画像、２１０…左の鼻孔に相当する領域、２１１…第２のパターン画像、２１３…第３のパターン画像、２１５…右の鼻孔、２１７…左の鼻孔 DESCRIPTION OF SYMBOLS 1 ... Respiration state measuring device, 3 ... Infrared camera, 5 ... Image analysis part, 7 ... Respiration state measurement part, 9 ... Psychosomatic state judgment part, 11 ... Feedback method selection part, 13 ... Various vehicle equipment control part, 15 ... 1st DESCRIPTION OF SYMBOLS 1 memory | storage part, 17 ... 2nd memory | storage part, 103 ... Vehicle control part, 201 ... Face image, 203 ... Face, 205 ... Nose, 207 ... Area | region, 208 ... Area | region equivalent to a right nostril, 209 ... 1st Pattern image 210: Area corresponding to the left nostril 211 ... Second pattern image 213 ... Third pattern image 215 ... Right nostril 217 ... Left nostril
Claims (4)
前記画像に基づき、前記鼻孔の面積を算出する鼻孔面積算出手段と、
前記画像に基づき、左右の鼻孔の中から、前記鼻孔面積算出手段により面積を算出する鼻孔を選択する鼻孔選択手段と、
前記鼻孔の面積の変化に基づき前記乗員の呼吸状態を計測する呼吸状態計測手段と、
を備え、
前記鼻孔面積算出手段は、前記鼻孔選択手段により選択した鼻孔を含むパターン画像とのマッチングにより、前記画像の中から、鼻孔を含む領域を選択し、前記領域において、鼻孔の面積を算出することを特徴とする呼吸状態計測装置。 Image acquisition means for acquiring an image including a nostril in a vehicle occupant;
Nostril area calculating means for calculating an area of the nostril based on the image;
Based on the image, nostril selection means for selecting a nostril for calculating the area by the nostril area calculation means from the left and right nostrils;
A breathing state measuring means for measuring a breathing state of the occupant based on a change in the area of the nostril;
Equipped with a,
The nostril area calculating means selects a region including the nostril from the image by matching with a pattern image including the nostril selected by the nostril selecting unit, and calculates the area of the nostril in the region. Respiratory state measuring device.
前記呼吸状態を前記対応マップに入力することで、前記乗員に対する処理を選択する処理選択手段と、
を備えることを特徴とする請求項１〜３のいずれか１項に記載の呼吸状態計測装置。 A correspondence map associating the breathing state with the processing for the occupant;
Processing selection means for selecting processing for the occupant by inputting the breathing state into the correspondence map ;
The respiratory condition measuring device according to any one of claims 1 to 3 , further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014000918A JP6229500B2 (en) | 2014-01-07 | 2014-01-07 | Respiratory state measurement device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014000918A JP6229500B2 (en) | 2014-01-07 | 2014-01-07 | Respiratory state measurement device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015128501A JP2015128501A (en) | 2015-07-16 |
| JP6229500B2 true JP6229500B2 (en) | 2017-11-15 |
Family
ID=53759779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014000918A Active JP6229500B2 (en) | 2014-01-07 | 2014-01-07 | Respiratory state measurement device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6229500B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017123918A (en) * | 2016-01-12 | 2017-07-20 | シャープ株式会社 | Respiration monitoring device, respiratory rate measuring device, respiratory rate measuring method and computer program |
| CN111956243A (en) * | 2020-08-20 | 2020-11-20 | 大连理工大学 | Stress assessment system for counter |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3390802B2 (en) * | 1995-03-28 | 2003-03-31 | 日本光電工業株式会社 | Respiration monitor |
| JP2006102362A (en) * | 2004-10-08 | 2006-04-20 | Matsushita Electric Ind Co Ltd | Physiological condition improving device |
| JP4989249B2 (en) * | 2007-02-14 | 2012-08-01 | トヨタ自動車株式会社 | Eye detection device, dozing detection device, and method of eye detection device |
-
2014
- 2014-01-07 JP JP2014000918A patent/JP6229500B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015128501A (en) | 2015-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6482096B2 (en) | System and method for responding to driver behavior | |
| US9260013B2 (en) | Awareness level improvement device | |
| US9475502B2 (en) | Coordinated vehicle response system and method for driver behavior | |
| JP5228970B2 (en) | Dozing prevention device | |
| JP6497915B2 (en) | Driving support system | |
| JP2008068664A (en) | Vehicle control apparatus and vehicle control method | |
| AU2012218054A1 (en) | System and method for responding to driver behavior | |
| JP2006350567A (en) | Interactive system | |
| KR102272774B1 (en) | Audio navigation device, vehicle having the same, user device, and method for controlling vehicle | |
| CN104276037B (en) | Limitation or the method and apparatus for forcing activation vehicle function | |
| JP2009213768A (en) | Driver's biological condition-determining device | |
| JP2008070965A (en) | Vehicle control apparatus and vehicle control method | |
| JP2009134496A (en) | Driving support device and driving support method | |
| JP2017220097A (en) | Drive support device | |
| JP2015138308A (en) | Driving support device, driving support method, and driving support program | |
| JP2003339681A (en) | Display device for vehicle | |
| JP6229500B2 (en) | Respiratory state measurement device | |
| JP6776681B2 (en) | Driver status determination device and driver status determination program | |
| US9815371B2 (en) | Information providing apparatus for vehicle | |
| JP6701951B2 (en) | Driving support device | |
| KR20200083901A (en) | Method, Device and Storage Medium for Evaluating Human Machine Interface of Take-over Request for Autonomous driving | |
| JP2016071577A (en) | Driver state detection method and detection device | |
| JP7302275B2 (en) | Drowsiness estimation device | |
| JP2021189704A (en) | Control device and program | |
| CN115905727A (en) | Information presentation method and vehicle-mounted system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160614 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171002 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6229500 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |