JP2018038553A - 車載表示装置、車載表示装置の制御方法、及び、プログラム - Google Patents
車載表示装置、車載表示装置の制御方法、及び、プログラム Download PDFInfo
- Publication number
- JP2018038553A JP2018038553A JP2016174107A JP2016174107A JP2018038553A JP 2018038553 A JP2018038553 A JP 2018038553A JP 2016174107 A JP2016174107 A JP 2016174107A JP 2016174107 A JP2016174107 A JP 2016174107A JP 2018038553 A JP2018038553 A JP 2018038553A
- Authority
- JP
- Japan
- Prior art keywords
- infrared light
- visible light
- waveform
- light source
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 86
- 238000013459 approach Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 255
- 238000003384 imaging method Methods 0.000 description 74
- 230000008569 process Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 31
- 230000008859 change Effects 0.000 description 26
- 239000008280 blood Substances 0.000 description 15
- 210000004369 blood Anatomy 0.000 description 15
- 239000000284 extract Substances 0.000 description 15
- 230000001678 irradiating effect Effects 0.000 description 10
- 230000007423 decrease Effects 0.000 description 9
- 102000001554 Hemoglobins Human genes 0.000 description 7
- 108010054147 Hemoglobins Proteins 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 206010062519 Poor quality sleep Diseases 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 206010005746 Blood pressure fluctuation Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Instrument Panels (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】更なる改善を実現できる車載表示装置を提供する。【解決手段】車載表示装置10は、表示画面104と、表示画面104が出射した光を受けた人から発せられる可視光を受光する可視光カメラ106と、赤外光LED107と、赤外光LED107が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光カメラ108と、CPU101とを備え、CPU101は、可視光カメラ106が受光した可視光の受光強度から抽出される波形と、赤外光カメラ106が受光した赤外光の受光強度から抽出される波形とに基づいて、赤外光LED107による赤外光の出射の制御をし、制御の後に赤外光カメラ108が受光した赤外光の受光強度から抽出される波形から人の脈波に関する脈波情報を算出し、算出した脈波情報を出力する。【選択図】図1
Description
本発明は、車載表示装置、車載表示装置の制御方法、及び、プログラムに関する。
特許文献1は、経路探索情報に基づいて車両用覚醒照明装置を制御する制御手段技術を開示している。また、特許文献2は、表示対象となる画像の輝度を下げ、その画像の輝度に基づいて表示装置におけるバックライトの光量を決定し、決定した光量からバックライトを制御する技術を開示している。
しかし、特許文献1や特許文献2に開示されている技術では、更なる改善が必要とされていた。
本開示の一態様に係る車載表示装置は、表示画面と、前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、赤外光光源と、前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、プロセッサとを備え、前記プロセッサは、前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、算出した前記脈波情報を出力する。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
上記態様によれば、更なる改善を実現することができる。
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した技術に関し、以下の問題が生じることを見出した。
本発明者は、「背景技術」の欄において記載した技術に関し、以下の問題が生じることを見出した。
特許文献1に開示される技術は、車両内の照明装置によってユーザに向けて光を当ててユーザを覚醒させるために、その光の光量と時間とを制御するものである。この技術に用いられる照明装置の光量は、ユーザの心拍数等の生体情報を得るための脈波を取得することができる光量には設定されていないという問題がある。
また、特許文献2に開示される技術は、表示装置におけるバックライトの光量を、表示する画像に対応させて制御するものである。この技術では、脈波を取得するのに十分な光量を、ユーザに照射することができないという問題がある。
一方、車両の運転中は周囲の環境による光のノイズが大きい。また、夜間の車両の運転中にユーザの生体情報を取得するために可視光を用いると運転の支障になり得る。そこで、赤外光を用いて脈波を取得することが有用である。
しかしながら、赤外光による脈波の取得は、赤外光の微妙な大きさの変化があるだけで難しくなるので、可視光領域での脈波と対応させて、赤外光源の光量を決める必要がある。
本開示の一態様に係る車載表示装置は、表示画面と、前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、赤外光光源と、前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、プロセッサとを備え、前記プロセッサは、前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、算出した前記脈波情報を出力する。
これによれば、車載表示装置は、人の脈波を計測するのに適切な赤外光光源の光量を算出し、算出した光量の赤外線を人に照射することで人の脈波を取得する。このようにして、車載表示装置は、車両内において非接触でユーザの脈波を取得することができる。
また、例えば、前記プロセッサは、前記赤外光の出射の制御において、前記可視光受光部が受光した可視光から抽出される波形に含まれる脈波成分の特徴量と、前記赤外光受光部が受光した赤外光から抽出される波形に含まれる脈波成分の特徴量との相関度を算出し、算出した前記相関度に基づいて、前記赤外光光源による赤外光の出射の前記制御をする。
これによれば、車載表示装置は、可視光脈波と赤外光脈波との相関の大きさに基づいて、人に照射する赤外光の光量を制御する。これにより、可視光脈波と赤外光脈波とに相関がある状態を維持しながら赤外光の光量を変化させることができ、その結果、人の脈波を取得するのに適切な光量の赤外線を人に照射することができる。
また、例えば、前記プロセッサは、さらに、前記車載表示装置が搭載されている車両の運転状態に基づいて、前記赤外光光源による赤外光の出射の前記制御をする。
これによれば、車載表示装置は、車両が運転中であるか等の状態に応じて適切なときに、可視光及び赤外光を人に照射して赤外光による脈波の計測に適切な光量を決定することができる。具体的には、エンジン始動時などに人に照射すべき赤外線の光量を決定する処理を行うことができる。
また、例えば、前記プロセッサは、さらに、前記人から発せられる可視光が低下するように前記表示画面を制御し、前記赤外光受光部が受光する赤外光から抽出される波形から脈波成分の特徴量が得られる状態で、前記表示画面の制御を停止する。
これによれば、車載表示装置は、人に照射する可視光の光量を低下させながら、可視光脈波と赤外光脈波との相関を計測し、赤外光による脈波の計測に適切な光量を決定することができる。
また、例えば、前記プロセッサは、前記表示画面が出射する光の光量を低下させることで、前記人の目に照射される光量を所定以下にする。
これによれば、車載表示装置は、適切な赤外光の光量を決定する際に、人の目に可視光を照射することで人が眩しさを感じることを、光量の制御により抑制することができる。
また、例えば、前記プロセッサは、前記表示画面の姿勢を変化させることで、前記人の目に照射される光量を所定以下にする。
これによれば、車載表示装置は、適切な赤外光の光量を決定する際に、人の目に可視光を照射することで人が眩しさを感じることを、表示画面の姿勢の制御により抑制することができる。
また、例えば、前記プロセッサは、取得した前記運転状態が、前記車両が停車している状態を示す運転状態であるときに、前記赤外光光源による赤外光の出射の前記制御をする。
これによれば、車載表示装置は、車両が停止している状態において、赤外光による脈波の計測に適切な光量を決定することができる。
また、例えば、前記プロセッサは、さらに、前記車載表示装置が配置される車両が右ハンドル車両であるか左ハンドル車両であるかを示すハンドル位置情報を受け付け、受け付けた前記ハンドル位置情報に基づいて、前記表示画面による光の出射方向が、ハンドルを有する席を向く方向に近づくように前記表示画面を傾ける。
これによれば、車載表示装置は、車両のハンドル位置に応じて表示画面の姿勢を変化させることで、運転席に乗車しているユーザの脈波を適切に取得することができる。
また、例えば、前記車載表示装置は、2つの前記赤外光光源を備え、2つの前記赤外光光源は、前記表示画面の正面視における水平方向において前記表示画面を挟む位置に配置されている。
これによれば、車載表示装置は、左右に配置された2つの赤外光光源のいずれかを用いることで、左ハンドル車又は右ハンドル車の運転席に乗車しているユーザの脈波を適切に取得することができる。
また、例えば、前記プロセッサは、さらに、受け付けた前記ハンドル位置情報が右ハンドル車両であることを示すときには、前記表示画面の正面視における右側の略半分の領域のみを発光させる。
これによれば、車載表示装置は、右ハンドル車の車両内において非接触でユーザの脈波を取得することができる。
また、例えば、前記プロセッサは、さらに、受け付けた前記ハンドル位置情報が左ハンドル車両であることを示すときには、前記表示画面の正面視における左側の略半分の領域のみを発光させる。
これによれば、車載表示装置は、左ハンドル車の車両内において非接触でユーザの脈波を取得することができる。
また、本開示の一態様に係る車載表示装置の制御方法については、前記車載表示装置は、表示画面と、前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、赤外光光源と、前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、プロセッサとを備え、前記制御方法では、前記プロセッサにより、前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、算出した前記脈波情報を出力する。
これによれば、上記車載表示装置と同様の効果を奏する。
また、本開示の一態様に係るプログラムは、上記の車載表示装置の制御方法をコンピュータに実行させるためのプログラムである。
これによれば、上記車載表示装置と同様の効果を奏する。
(実施の形態1)
本実施の形態において、車両内において非接触でユーザの脈波を取得する車載表示装置等について説明する。この車載表示装置は、車両内において非接触でユーザの脈波を可視光領域で測定し、これと同時に、ユーザの脈波を赤外光領域でも測定し、測定したこれらの脈波の波形の相関に基づいて、可視光光源及び赤外光光源のそれぞれを制御する。
本実施の形態において、車両内において非接触でユーザの脈波を取得する車載表示装置等について説明する。この車載表示装置は、車両内において非接触でユーザの脈波を可視光領域で測定し、これと同時に、ユーザの脈波を赤外光領域でも測定し、測定したこれらの脈波の波形の相関に基づいて、可視光光源及び赤外光光源のそれぞれを制御する。
本実施の形態に係る車載表示装置10について説明する。
図1は、本実施の形態における車載表示装置10のハードウェア構成を示すブロック図である。図2は、本実施の形態における車載表示装置10の機能構成を示すブロック図である。
図1に示されるように、車載表示装置10は、CPU(Central Processing Unit)101と、メインメモリ102と、ストレージ103と、表示画面104と、可視光カメラ106と、赤外光LED(Light Emitting Diode)107と、赤外光カメラ108とを備える。
CPU101は、ストレージ103などに記憶された制御プログラムを実行するプロセッサである。
メインメモリ102は、CPU101が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域(主記憶装置)である。
ストレージ103は、制御プログラム、各種データなどを保持する不揮発性の記憶領域(補助記憶装置)である。
表示画面104は、複数の画素の発光により画像を表示する表示画面である。表示画面104は、画素を可視光で発光させるための可視光LED105を有し、可視光LED105が出射する光の強度を調整することでさまざまな色の画素を表現する。なお、可視光LED105が出射する光の強度の調整は、可視光LED105が出射する光の強度が変更されることによってもよし、可視光LED105が一定の強度の光を出射し、その光を受ける素子(例えば液晶素子)による光の透過の度合いを調整することによって行われてもよい。表示画面104は、例えば液晶ディスプレイであり、この場合、可視光LED105は、液晶ディスプレイのバックライトに相当する。なお、可視光LED105の代わりに、可視光を出射する他の発光素子を用いることも可能である。
可視光カメラ106は、可視光領域の光を撮像する撮像装置である。
赤外光LED107は、赤外線領域の光を出射するLEDである。なお、赤外光LED107の代わりに赤外線を出射する他の発光素子等を用いることも可能である。
赤外光カメラ108は、赤外光領域の光を撮像する撮像装置である。
車載表示装置10の後述する各構成要素は、CPU101が、ストレージ103に格納されたプログラムをメインメモリ102等を用いて実行することで実現され得る。
図2に示すように、車載表示装置10は、可視光光源121と、可視光撮像部122と、赤外光光源123と、赤外光撮像部124と、可視光波形演算部111と、赤外光波形演算部112と、相関度演算部113と、光源制御部114と、生体情報算出部115と、運転判定部116とを備える。可視光光源121は、表示画面104が備えるものである。
可視光光源121は、可視光LED105を用いてユーザの肌に可視光を照射する。
可視光撮像部122は、可視光カメラ106を用いて可視光領域においてユーザの肌を撮像する。可視光撮像部122は、可視光受光部に相当する。
赤外光光源123は、赤外光LED107を用いてユーザの肌に赤外光を照射する。
赤外光撮像部124は、赤外光カメラ108を用いて赤外光領域においてユーザの肌を撮像する。赤外光撮像部124は、赤外光受光部に相当する。
可視光波形演算部111は、可視光撮像部122が可視光で撮像した画像から脈波の波形を抽出する。
赤外光波形演算部112は、赤外光撮像部124が赤外光で撮像した画像から脈波の波形を抽出する。
相関度演算部113は、可視光で得られた脈波(以降、可視光脈波ともいう)の波形と、赤外光で得られた脈波(以降、赤外光脈波ともいう)の波形とを比較し、その相関度を演算する。
光源制御部114は、可視光撮像部122が受光した可視光から抽出される波形と、赤外光撮像部124が受光した赤外光から抽出される波形とに基づいて、赤外光光源123による赤外光の出射の制御をする。具体的には、光源制御部114は、可視光撮像部122が受光した可視光から抽出される波形に含まれる脈波成分の特徴量と、赤外光撮像部124が受光した赤外光から抽出される波形に含まれる脈波成分の特徴量との相関度を算出し、算出した相関度に基づいて、赤外光光源123による赤外光の出射の制御をする。
生体情報算出部115は、可視光脈波と赤外光脈波とからユーザの脈波を示す脈波情報を算出し、算出した脈波情報を出力する。
運転判定部116は、車両の運転状態(例えば、車両が運転中であるか停止中であるか等)を判定する。
上記の各機能ブロックについては、後で詳細に説明する。
図3は、本実施の形態における車載表示装置10の外観図である。図3は、車載表示装置10がカーナビゲーション装置として実現される場合の一例であるが、車載表示装置10は、その他、車両の後部座席用モニタ装置、電子ミラー装置、音楽等の再生装置などであってもよい。
図3に示すように、車載表示装置10は、筐体を有し、その筐体に図1に示す各構成要素が配置されている。
筐体の上部には、可視光カメラ106、赤外光LED107、及び、赤外光カメラ108が並んで備えられている。また、表示画面104が、車載表示装置10の正面に備えられている。
一般に、ユーザである運転者の顔の位置は、使用状態において、カーナビゲーション装置の本体よりも高い位置にあることが多い。そこで、可視光カメラ106、赤外光LED107、及び、赤外光カメラ108をカーナビゲーション装置の上部に配置することで、ユーザの顔への赤外光の照射を効率的にし、また、可視光カメラ106及び赤外光カメラ108により取得する画像の解像度を上げることができる利点がある。
(表示画面104及び可視光光源121)
可視光光源121は、ユーザに対して可視光領域の光を照射する光源である。可視光光源121による光の照射量は、光源制御部114によって調整される。具体的には、可視光光源121は、400〜800nmの波長域の光を出射する。可視光光源121は、例えば、図3に示すように、車両内のカーナビゲーション装置の表示画面104により実現される。
可視光光源121は、ユーザに対して可視光領域の光を照射する光源である。可視光光源121による光の照射量は、光源制御部114によって調整される。具体的には、可視光光源121は、400〜800nmの波長域の光を出射する。可視光光源121は、例えば、図3に示すように、車両内のカーナビゲーション装置の表示画面104により実現される。
また、車載表示装置10は、従来のカーナビゲーション装置と同様、車両内のダッシュボードの中心付近に設置される。このとき、図5に示すように、ダッシュボードの中心付近に設置された車載表示装置10が、可視光光源121により光を照射した場合、ユーザの顔において脈波が取得しやすい頬のあたりに光が当たるという特徴を持つ。具体的には、ユーザの顔の左右のどちらか半分、例えば、車両が右ハンドル車でありユーザが運転手である場合には、ユーザの顔の左側の半分に可視光光源121が照射する光が当たる。一方、車両が左ハンドル車でありユーザが運転手である場合には、ユーザの顔の右側の半分に可視光光源121が照射する光が当たる。可視光撮像部122がユーザの顔を撮像する場合に、正面よりも横側からユーザの顔を撮像した方が、目や鼻等の特徴的な部位がないため、脈波が取得しやすい利点がある。
なお、可視光光源121の照射量の制御は光源制御部114によって行うと説明したが、これに限ったものではない。例えば、ユーザ自身がコントローラを用いて、光の照射量を手動で制御してもよい。また、可視光光源121から照射される光の方向をユーザ自身が調整してもよい。
例えば、図6に示すように、ユーザ自らの手で車載表示装置10の表示画面104の姿勢を調整することによってユーザに光が当たるようにするために、車載表示装置10の表示画面104の背面側にユニバーサルジョイント機構等を備えてもよい。これにより、ユーザ(運転者)の顔の位置がユーザごとに異なる場合にも、ユーザの顔の位置に光を当てることが可能になる。特に、男性のユーザと女性のユーザとでは、運転時の顔の位置が異なる場合が多い。そこで、運転者が表示画面104の方向を自由に調整できるようにすることで、ユーザの脈波をより正確に検出することが可能になる。
また、本実施の形態においては、カーナビゲーション装置の表示画面104を可視光光源として用いているが、追加的に、可視光光源をカーナビゲーション装置の表示画面104の隣りに設置してもよい。一般に、カーナビゲーション装置の表示画面104は、地図又は現在地を確認するために利用することが多い。一方で、可視光光源が出射する光は、ユーザの頬の領域に当たることが望ましい。そこで、カーナビゲーション装置の表示画面の照明の強度では不十分な場合には、可視光の光源を新たに設置してもよい。これにより、ユーザが可視光の照明の方向のみを調整できるようにすることで、カーナビゲーション装置を用いた地図等の確認のしやすさと、照明強度の調整精度の向上の両立ができる利点がある。
さらに、ユーザ自身が車載表示装置10(表示画面104)の姿勢をどのように設定するのが適切かが分からない場合には、姿勢を調整するための指示情報をユーザに提示してもよい。具体的には、運転判定部116から光源制御部114に可視光の光源を制御可能とする信号を送ってから所定の時間(例えば10秒)経過した場合に、表示画面104の姿勢を調整する指示情報を、表示画面104に表示してもよい(図7参照)。図7において、表示画面104の中心に、ユーザの顔の目標位置(図に示す破線の円形)を示し、ユーザがそれに合わせて、車載表示装置10の位置又は姿勢を調整してもよい。
なお、車載表示装置10は、車両のダッシュボードの中心付近に設置されるとしたが、これに限ったものではない。例えば、車載表示装置10は、ユーザの正前に設置されてもよい。このとき、可視光光源121は、ユーザの正面から、顔半分ではなく、顔全体に光を照射してもよい。これにより、ユーザの顔のうち脈波を取得できる範囲が広くなり、より正確に可視光脈波及び赤外光脈波が取得できるようになる。例えば、昼等の車外が明るく、かつ、車載表示装置10がダッシュボードの中心付近に設置されている場合には、主にユーザの顔の半分、言い換えれば、ユーザの顔のうちの窓とは反対側の部位のみが照らされるが、光の照射量が足りずに可視光脈波及び赤外光脈波を取得できないことがある。これに対し、車載表示装置10がユーザの正前に設置されていれば、ユーザの顔のうち窓側の部位にも光を照射し、可視光脈波及び赤外光脈波を取得できるので、測定される脈波がより正確なものとなる利点がある。
可視光光源121が出射する光の光量について説明する。可視光光源121は、周囲が、ユーザの顔から可視光により脈波を取得するのが難しい明るさであるとき(例えば、夜間、又は、車両がトンネル内に位置しているとき)に車両のエンジンを始動した場合、又は、運転中に周囲がユーザの顔から可視光により脈波を取得するのが難しい明るさになったときに起動する。起動手段の詳細については、後述の運転判定部116にて説明する。
例えば、図8の(a)に示すように、可視光光源121がエンジン始動時に起動する場合は、その起動の前には、可視光光源121が出射する光の光量は0である。そして、可視光光源121は、エンジン始動と同時に光量を、車両内の照度が例えば1000ルクスになるまで上げて、可視光波形演算部111が取得する可視光脈波と、赤外光波形演算部112が取得する赤外光脈波とが一致するように、各光源の光量を制御する。なお、可視光脈波と赤外光脈波との相関度の演算手法、及び、光源制御の具体的な手法については、後述の相関度演算部113と光源制御部114にて説明する。
また、例えば、図8の(b)に示すように、運転中に周囲が暗くなり、可視光脈波を取得できなくなる場合、周囲が暗くなる前の車両内の照度は50ルクス程度である。これは、ユーザがカーナビゲーション装置のナビゲーション機能を使用する場合の照度の一例である。この状態において、可視光波形演算部111が可視光脈波を取得することができなくなった場合、運転判定部116は、運転判定を開始する。そして、運転判定部116は、車両の走行が止まった時点で、光源制御部114に調節可能信号を送信し、可視光光源121は、出射する光の光量を、車両内の照度が例えば1000ルクスになるまで上昇させる。その後、エンジン開始時と同様に、相関度演算部113が可視光脈波と赤外光脈波との波形を比較し、赤外光脈波が取得できるように、可視光光源121と赤外光光源123とを制御する。これにより、車両内に屋外光が入りにくいトンネル、又は、屋内駐車場においても、車載表示装置10が脈波を検出することができるようになる。特に、車両が比較的長い時間トンネル内に位置しているとき(具体的には、距離が比較的長いトンネルを走行している時、又は、トンネルの長さに関わらず渋滞等によりトンネル内で低速走行又は停止しているとき等)においてユーザの心拍情報を検出することができるようになる。
なお、エンジン始動時に周囲環境が暗くなった時に、車両内の照度が1000ルクスになるように可視光光源121を制御するとしたが、これに限ったものではない。ユーザの顔から脈波が取得できる照度であればよいので、より小さい値(例えば500ルクス)でもよい。一方、照度が大きくなりすぎると、車両内が明るすぎる状態になり、ユーザがまぶしさを感じて事故の原因となり得る。このことを考慮すると、可視光光源121が照射する光による車両内の明るさは、500ルクス〜2500ルクス程度の範囲に収められるのがよい。また、一度脈波を取得したことがあるユーザの場合、脈波を取得したときの可視光波形演算部111と、光源制御部114による制御の下で脈波を取得した際の照度を記憶しておいて、記憶しておいたその照度になるように可視光光源121の発光量を設定してもよい。これにより、脈波の取得にかかる時間削減、及び、毎回の光量調節の手間の削減という利点がある。同じユーザであれば、顔表面の色の特徴等が毎回同じである可能性が高いので、一度記憶した照度でユーザの顔を照らすだけで、脈波が取得できる可能性が高いことを利用したものである。
また、可視光光源121は、可視光波形演算部111により可視光脈波が取得でき、かつ、その取得した時の脈波のピーク−ボトム間の傾きが最も大きかった時の、可視光光源121における光量を記録し、可視光光源121の光量を脈波の取得のために大きくするたびに、その光量を記録した値になるようにしてもよい。
なお、可視光光源121は、ユーザ自身により車載表示装置10(表示画面104)の姿勢等を調整し、ユーザの顔に光が当たるようにするとしたが、これに限ったものではない。図9の(a)に示すように、ユーザが運転しているときに可視光光源121が照射する光がユーザの目に向けられると、ユーザが眩しさを感じて事故の要因となり得る。したがって、例えば、ユーザにあらかじめ車載表示装置10の姿勢を調整する機会がある場合には、図9の(b)に示すように、ユーザの頬は相対的に強い照度になり、ユーザの目の付近は相対的に弱い照度になるように設定してもよい。また、ユーザの目に照射される光量を所定以下にするように設定してもよい。この制御は、例えば、表示画面104が出射する光の光量を低下させること、又は、表示画面104の姿勢が変化する(いわゆるチルト制御)ことで実現され得る。具体的には、可視光光源121の照射する光束の中心を、頬の中心部分より下側に位置するように設定することで実現され得る。これにより、ユーザの運転を妨げることなく、照度の調整が可能になる。なお、ユーザがサングラスを装着することで眩しさを回避することもできる。このようにすると、顔認識処理において、サングラスの位置に基づいてユーザの頬を容易に検出することができる利点がある。
また、可視光撮像部122で顔認識をあらかじめ行っておき、可視光光源121が照射する光の強度を上げる際には、まず、頬から顎周辺に光を照射し、徐々に照射範囲を上にあげていき、目に照射する前に止めるようにしてもよい。このことは、顔認識の結果得られた目の位置の輝度が上がらないようにする、すなわち、目の位置の輝度が上がる兆候が観測された時点で光の照射を止めることで実現できる。
(可視光撮像部122)
可視光撮像部122は、可視光光源121により可視光が照射された照射対象を可視光領域において撮像する。可視光撮像部122は、具体的には、照射対象としてユーザの肌を可視光領域(例えば、カラー)で撮像することにより得られた可視光画像を車載表示装置10の可視光波形演算部111に出力する。可視光撮像部122は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を可視光画像として出力する。肌画像は、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。可視光撮像部122は、例えば、可視光カメラ106により実現される。
可視光撮像部122は、可視光光源121により可視光が照射された照射対象を可視光領域において撮像する。可視光撮像部122は、具体的には、照射対象としてユーザの肌を可視光領域(例えば、カラー)で撮像することにより得られた可視光画像を車載表示装置10の可視光波形演算部111に出力する。可視光撮像部122は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を可視光画像として出力する。肌画像は、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。可視光撮像部122は、例えば、可視光カメラ106により実現される。
(赤外光光源123)
赤外光光源123は、ユーザに対して赤外光を照射し、その照射する光量は光源制御部114によって調整される。赤外光光源123は、例えば、赤外光LED107により実現される。
赤外光光源123は、ユーザに対して赤外光を照射し、その照射する光量は光源制御部114によって調整される。赤外光光源123は、例えば、赤外光LED107により実現される。
(赤外光撮像部124)
赤外光撮像部124は、赤外光光源123により赤外光が照射された照射対象を赤外光領域において撮像する。赤外光撮像部124は、具体的には、照射対象としてユーザの肌を赤外光領域(例えば、モノクロ)で撮像することにより得られた赤外光画像を車載表示装置10の赤外光波形演算部112に出力する。赤外光撮像部124は、可視光撮像部122で撮像する部位と同じ部位を撮像する。赤外光撮像部124は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を赤外光画像として出力する。これは、赤外光撮像部124においても可視光撮像部122が撮像した部位と同じ部位を撮像することで、可視光領域と赤外光領域とにおいて、同様の脈波を取得することができ、特徴量を比較しやすいからである。
赤外光撮像部124は、赤外光光源123により赤外光が照射された照射対象を赤外光領域において撮像する。赤外光撮像部124は、具体的には、照射対象としてユーザの肌を赤外光領域(例えば、モノクロ)で撮像することにより得られた赤外光画像を車載表示装置10の赤外光波形演算部112に出力する。赤外光撮像部124は、可視光撮像部122で撮像する部位と同じ部位を撮像する。赤外光撮像部124は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を赤外光画像として出力する。これは、赤外光撮像部124においても可視光撮像部122が撮像した部位と同じ部位を撮像することで、可視光領域と赤外光領域とにおいて、同様の脈波を取得することができ、特徴量を比較しやすいからである。
なお、同じ部位の撮像方法としては、可視光撮像部122と赤外光撮像部124とで同じ大きさの関心領域(ROI)を設定する。そして、可視光撮像部122と赤外光撮像部124とで撮像された当該ROI内の画像について、例えば、パターン認識を用いて比較することで、同じ部位を撮像しているか否かを判断してもよい。また、可視光撮像部122により得られた可視光画像と、赤外光撮像部124により得られた赤外光画像とのそれぞれにおいて顔認識を行い、目、鼻、口などにおける特徴点の座標と大きさを取得し、目、鼻、口などの大きさの比を考慮して、目、鼻、口などの特徴点からの座標(相対的な位置)を演算することで同じ部位を特定してもよい。
赤外光撮像部124により得られる肌画像は、可視光撮像部122により得られる肌画像と同様に、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。赤外光撮像部124は、例えば、赤外光カメラ108により実現される。
(可視光波形演算部111)
可視光波形演算部111は、可視光撮像部122から可視光画像を取得し、取得した可視光画像からユーザの可視光脈波を示す波形である可視光波形を抽出する。可視光波形演算部111は、抽出した可視光波形における所定の特徴点である第1特徴点を複数抽出してもよい。所定の特徴点は、例えば、ユーザの脈波の1周期分の波形における頂点または底点であるピーク点である。
可視光波形演算部111は、可視光撮像部122から可視光画像を取得し、取得した可視光画像からユーザの可視光脈波を示す波形である可視光波形を抽出する。可視光波形演算部111は、抽出した可視光波形における所定の特徴点である第1特徴点を複数抽出してもよい。所定の特徴点は、例えば、ユーザの脈波の1周期分の波形における頂点または底点であるピーク点である。
可視光波形演算部111は、可視光波形の特徴点として、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、可視光波形演算部111は、抽出した複数の第1特徴点のそれぞれについて、当該第1特徴点に隣接する他の第1特徴点との間の時間を第1心拍間隔時間として算出する。
具体的には、可視光波形演算部111は、撮像されたタイミングがそれぞれ対応づけられた複数の可視光画像から抽出される輝度の時間変化に基づいて、可視光波形を抽出する。つまり、可視光撮像部122から取得される複数の可視光画像のそれぞれは、可視光撮像部122において当該可視光画像が撮像された時刻(time point)と対応づけられている。可視光波形演算部111は、可視光波形の所定の特徴点の間隔を取得することで、ユーザの脈波のタイミング(以下、脈波タイミングともいう)を取得する。そして、可視光波形演算部111は、得られた複数の脈波タイミングのそれぞれについて、当該脈波タイミングと一つ後の脈波タイミングとの間隔を心拍間隔時間として算出する。
例えば、可視光波形演算部111は、抽出した可視光波形を用いて、最も輝度の変化の大きいタイミングを特定し、特定したタイミングを脈波タイミングとして特定する。または、可視光波形演算部111は、予め保持している顔または手のパターンを用いて、複数の可視光画像における顔または手の位置を特定し、特定した位置の輝度の時間的な変化を用いて可視光波形を特定する。可視光波形演算部111は、特定した可視光波形を用いて、脈波タイミングを算出する。ここで、脈波タイミングとは、輝度の時間波形、すなわち脈波の時間波形における所定の特徴点における時刻である。所定の特徴点は、例えば、輝度の時間波形におけるピーク位置(頂点の時刻)である。ピーク位置は、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。可視光波形演算部111は、例えば、CPU101、メインメモリ102およびストレージ103などにより実現される。
一般に、脈波は、心臓の拍動に伴い末梢血管系内の血圧または体積の変化である。つまり、脈波は、心臓が収縮することにより、心臓から血液が送り出され、顔または手などに到達したとき血管の体積の変化である。このように、顔または手などにおける血管の体積が変化すると、血管を通過する血液の量が変化することとなり、ヘモグロビンなどの血液中の成分の量に依存して肌の色が変化する。このため、撮像した画像における顔または手の輝度は、脈波に応じて変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、可視光波形演算部111は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。
可視光領域における脈波タイミングの取得では、可視光画像中の緑色の波長域の輝度が撮像された画像が用いられることが望ましい。可視光領域において撮像された画像において、緑色近辺の波長域の輝度に、脈波による変化が大きく現れるためである。複数の画素を含む可視光画像において、多くの血液が流入している状態の顔または手に相当する画素の緑色の波長域における輝度は、少ない血液が流入している状態の顔または手に相当する画素の緑色の波長域の輝度と比べて小さい。
図10の(a)は、本実施の形態における可視光画像の輝度変化、特に緑色における輝度変化の一例を示すグラフである。具体的には、図10の(a)は、可視光撮像部122によって撮像された可視光画像におけるユーザの頬の領域の緑色成分(G)の輝度変化を示す。図10の(a)のグラフにおいて、横軸は時間を示し、縦軸は緑色成分(G)の輝度を示す。図10の(a)に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。
日常環境下、すなわち可視光領域で肌が撮像される場合、照明による散乱光または様々な要因によって、可視光画像はノイズを含む。よって、可視光波形演算部111は、可視光撮像部122から取得した可視光画像にフィルタ等による信号処理を施し、脈波に起因する肌の輝度変化を多く含む可視光画像を得ることが望ましい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、可視光波形演算部111は、本実施の形態では、ローパスフィルタを通した緑色成分(G)の輝度変化を用いて、可視光波形の抽出処理を行う。
図10の(a)は、本実施の形態における脈波タイミングの算出の一例を示すグラフである。図10の(a)のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図10の(a)のグラフの時間波形おいて、時刻t1〜t5のそれぞれの点は、変曲点または頂点である。当該グラフの時間波形における各点は、特徴点としての、変曲点と、ピーク点(頂点および底点)とを含む。なお、頂点とは、時間波形において上に凸の極大値における点であり、底点とは、時間波形において下に凸の極小値における点である。時間波形に含まれる上記の各点において、前後の時刻の点のいずれよりも輝度が大きい点(頂点)における時刻、または、前後の時刻の点のいずれよりも輝度が小さい点(底点)の時刻が脈波タイミングである。
図11の(a)に示すグラフの輝度時間波形を用いて、頂点の位置を特定する方法、つまりピーク探索の方法を説明する。可視光波形演算部111は、当該輝度の時間波形において、現在の参照点を時刻t2の点とする。可視光波形演算部111は、時刻t2の点と、一つ前の時刻t1の点とを比較し、かつ、時刻t2の点と、一つ後の時刻t3の点とを比較する。可視光波形演算部111は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点のそれぞれの輝度よりも大きい場合、正と判定する。つまり、この場合、可視光波形演算部111は、参照点がピーク点(頂点)であって、その参照点の時刻が脈波タイミングであると判定する。
一方で、可視光波形演算部111は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点の少なくとも一方の輝度よりも小さい場合、否と判定する。つまり、この場合、可視光波形演算部111は、参照点がピーク点(頂点)ではなく、その参照点の時刻が脈波タイミングではないと判定する。
図11の(a)において、時刻t2の点の輝度は時刻t1の点の輝度より大きいが、時刻t2の点の輝度は時刻t3の点の輝度よりは小さいため、可視光波形演算部111は、時刻t2の点を否と判定する。次に、可視光波形演算部111は、参照点を一つインクリメントし、次の時刻t3の点を参照点とする。時刻t3の点の輝度は、時刻t3の一つ前の時刻t2の点および時刻t3の一つ後の時刻t4の点のそれぞれの輝度より大きいため、可視光波形演算部111は、時刻t3の点を正と判定する。可視光波形演算部111は、正と判定した点の時刻を脈波タイミングとして相関度演算部113に出力する。これにより、図11の(b)に示すように、白丸印の時刻が脈波タイミングとして特定される。
また、可視光波形演算部111は、脈波タイミングの特定において、一般的な心拍数(例えば60bpmから180bpm)の知識に基づき、心拍間隔時間が例えば333msから1000msまでの間であることを考慮して脈波タイミングを特定してもよい。可視光波形演算部111は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点においてのみ輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから333ms以降1000ms以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。したがって、日常環境時にロバストな脈波タイミングの取得が可能となる。
可視光波形演算部111は、さらに、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。心拍間隔時間は、時系列で変動する。このため、同一の期間において取得した赤外光波形から特定した脈波の心拍間隔時間と比較することで、可視光波形と赤外光波形の所定の特徴点における相関度の演算に利用することができる。
図12は、時系列で取得した心拍間隔時間の例を示すグラフである。図12のグラフにおいて、横軸は時系列に取得した心拍間隔時間に対応付けられたデータナンバーを示し、縦軸は心拍間隔時間を示す。図12に示すように、心拍間隔時間は、時刻によって変動しているのがわかる。なお、データナンバーとは、データ(ここでは心拍間隔時間)がメモリに記憶された順番を示す。つまり、n番目(nは自然数)に記録された心拍間隔時間に対応するデータナンバーは「n」となる。
可視光波形演算部111は、さらに、可視光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。具体的には、可視光波形演算部111は、可視光波形の輝度値の一次微分を算出することで可視光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻(以下、変曲点タイミングと言う)を算出する。つまり、可視光波形演算部111は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。
また、可視光波形演算部111は、変曲点タイミングの算出においても、一般的な心拍数の知識に基づき、心拍間隔時間が例えば、333msから1000msまでの間であることを考慮して変曲点タイミングを算出してもよい。これにより、可視光波形にまったく心拍とは関係のない変曲点が含まれていたとしても、当該変曲点を特定することがないため、より正確に変曲点タイミングを算出することができる。
図13は、脈波から変曲点を抽出する方法を説明するためのグラフである。具体的には、図13の(a)は、可視光画像から得られた可視光波形を示すグラフであり、図13の(b)は、図13の(a)の一次微分値をプロットしたグラフである。図13の(a)では、丸印がピーク点のうちの頂点を表し、X印が変曲点を表す。図13の(b)では、丸印が図13の(a)における頂点に対応する点を示し、X印が図13の(a)における変曲点に対応する点を示す。図13の(a)のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示す。また、図13の(b)のグラフにおいて、横軸は時間を示し、縦軸は、輝度値の微分係数を示す。
可視光波形の抽出では、前述のように特に緑色の光が撮像された可視光画像を用いる。この可視光波形の抽出の原理を説明する。脈波に応じて顔または手などの血管中の血液量が増減した場合、血中のヘモグロビンの量が血液量に応じて増減する。つまり、血管中の血液量の増減に応じて、緑色の波長域の光を吸収するヘモグロビンの量が増減する。このため、可視光撮像部122において撮像された可視光画像では、血液量の増減に応じて、血管付近の肌の色が変化することになり、可視光の特に緑色成分の輝度値が変動する。具体的には、ヘモグロビンが緑色の光を吸収するため、可視光画像における輝度値は、ヘモグロビンに吸収された分だけ減少する。
さらに、可視光波形は、底点から頂点までの勾配よりも、頂点から次の底点までの勾配の方が急であるという特徴を持つ。したがって、底点から頂点までの間では、比較的ノイズの影響を受けやすい。一方で、頂点から次の底点までの間では、勾配が急なため、ノイズの影響を受けにくい。このため、頂点から底点までの間に存在する変曲点タイミングもまた、ノイズの影響を受けにくく、比較的安定して取得しやすいという特徴をもつ。以上のことから、可視光波形演算部111は、頂点から底点までに存在する変曲点間の時間差を、心拍間隔時間として算出してもよい。
また、前述した可視光波形のピーク点は、変曲点の直前において微分係数が0になる部分である。具体的には、図13の(b)に示すように、変曲点であるX印の直前の微分係数が0となる点の時刻が図13の(a)の頂点を示す丸印の時刻となっているのがわかる。この特徴を用いて、可視光波形演算部111は、可視光波形から取得する頂点を変曲点の直前の頂点だけに限定してもよい。
可視光波形演算部111は、さらに、可視光波形の頂点から底点までの傾きを算出する。つまり、可視光波形演算部111は、可視光波形において、心拍間隔時間で定義されるユーザの脈波の1周期分の波形における頂点から底点までの傾きを算出する。傾きはできるだけ大きい方がいい。これは、傾きが大きければ大きいほど、より可視光波形における頂点の尖度が大きくなり、フィルタ処理等による脈波タイミングの時間ずれが、小さくなるからである。
図14は、可視光波形において、頂点から底点までの間の傾きを演算する方法を説明するための可視光波形を示すグラフである。図14のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示し、丸印は頂点を示し、三角印は底点を示す。可視光波形演算部111では、頂点(丸印)とその次にある底点(三角印)とを直線で結び、その直線の傾きを算出する。ここで算出した傾きは、可視光光源121における光源が発する光の光量、可視光撮像部122で取得するユーザの肌の部位などに応じて異なる。したがって、脈波がクリアに取得できる、例えば、心拍間隔時間が333msから1000msまでの間で取得し続けられるように、可視光光源121の光量、可視光撮像部122におけるユーザの部位に対応するROIをそれぞれ設定し、傾き情報を記録し、赤外光の脈波における傾き情報と比較することができる。また、可視光波形演算部111は、初期状態、すなわち、可視光光源121がONになってから、光源制御部114によって、可視光光源121の可視光の光量または赤外光光源123の赤外光の光量を変化させるまでの状態における、可視光波形における頂点から底点までの間の傾きを第1の傾きAとしてメモリ(例えばストレージ103)に記録する。車載表示装置10は、可視光波形と赤外光波形との間の特徴点を比較しながら、徐々に可視光光源121の光量を0にしていき、赤外光光源123の光量を増加させていくことを特徴としている。このように、可視光の光量を徐々に減少させるため、可視光波形の頂点から底点までの傾きが最も大きくなるのは、初期状態である。
(赤外光波形演算部112)
赤外光波形演算部112は、赤外光撮像部124から赤外光画像を取得し、取得した赤外光画像からユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部112は、抽出した赤外光波形における所定の特徴点である第2特徴点を複数抽出してもよい。所定の特徴点は、例えば、ユーザの脈波の1周期分の波形における頂点または底点であるピーク点である。
赤外光波形演算部112は、赤外光撮像部124から赤外光画像を取得し、取得した赤外光画像からユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部112は、抽出した赤外光波形における所定の特徴点である第2特徴点を複数抽出してもよい。所定の特徴点は、例えば、ユーザの脈波の1周期分の波形における頂点または底点であるピーク点である。
赤外光波形演算部112は、赤外光波形の特徴点として、可視光波形演算部111と同様に、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、赤外光波形演算部112は、抽出した複数の第2特徴点のそれぞれについて、当該第2特徴点に隣接する他の第2特徴点との間の時間を第2心拍間隔時間として算出する。具体的には、赤外光波形演算部112は、複数の赤外光画像から抽出される輝度の時間変化に基づいて、赤外光波形を抽出する。つまり、赤外光撮像部124から取得される複数の赤外光画像のそれぞれは、赤外光撮像部124において当該赤外光画像が撮像された時刻(time point)と対応付けられている。赤外光波形演算部112は、赤外光波形の所定の特徴点の間隔を取得することで、ユーザの脈波タイミングを取得する。そして、赤外光波形演算部112は、得られた複数の脈波タイミングのそれぞれについて、当該脈波タイミングと一つ後の脈波タイミングとの間隔を心拍間隔時間として算出する。
ここで、赤外光波形演算部112は、可視光波形演算部111と同様に、赤外光波形の所定の特徴点としてのピーク位置を、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。また、赤外光波形演算部112は、可視光波形演算部111と同様に、例えば、CPU101、メインメモリ102およびストレージ103などにより実現される。
一般に、赤外光画像では、可視光画像と同様に、ヘモグロビンなどの血液中の成分の量に依存して、画像における肌領域、例えば、顔または手の輝度が変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、赤外光波形演算部112は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。
赤外光領域における脈波タイミングの取得では、赤外光画像中の800nm以上の波長域の輝度が撮像された画像が用いられることが望ましい。赤外光領域において撮像された画像において、800〜950nm近辺の波長域の輝度に、脈波による変化が大きく現れるためである。
図10の(b)は、本実施の形態における赤外光画像の輝度変化の一例を示すグラフである。具体的には、図10の(b)は、赤外光撮像部124によって撮像された赤外光画像におけるユーザの頬の領域の輝度変化を示す。図10の(b)のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図10の(b)に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。
しかし、赤外光領域で肌を撮像する場合、可視光領域で肌を撮像する場合に比べ、ヘモグロビンによる赤外光の吸収量が少ない。つまり、体動等の様々な要因によって、赤外光領域で撮像された赤外光画像はノイズを含みやすい。よって、撮像された赤外光画像にフィルタ等による信号処理を施し、適切な光量の赤外光をユーザの肌領域に照射することで、脈波に起因する肌の輝度変化を多く含む赤外光画像を得ることが望ましい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、赤外光波形演算部112は、本実施の形態では、ρバスフィルタを通した赤外光の輝度変化を用いて、赤外光波形の抽出処理を行う。なお、赤外光光源123による赤外光の光量の決定方法については、相関度演算部113または、光源制御部114において記述する。
次に、赤外光波形演算部112における、ピーク探索の方法について説明する。赤外光波形におけるピーク探索は、可視光波形におけるピーク探索と同様の方法を利用できる。
赤外光波形演算部112は、脈波タイミングの特定において、可視光波形演算部111と同様に、一般的な心拍数(例えば60bpmから180bpm)の知識に基づき、心拍間隔時間が例えば333msから1000msまでの間であることを考慮して脈波タイミングを特定してもよい。赤外光波形演算部112は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点においてのみ輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから333ms以降1000ms以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。
赤外光波形演算部112は、可視光波形演算部111と同様に、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。また、赤外光波形演算部112は、さらに、赤外光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。具体的には、赤外光波形演算部112は、赤外光波形の輝度値の一次微分を算出することで赤外光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻(変曲点タイミング)を算出する。つまり、赤外光波形演算部112は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。
また、赤外光波形演算部112は、可視光波形演算部111と同様に、赤外光波形の頂点から底点までの傾きについての演算を行う。
以上のように、赤外光波形演算部112は、可視光波形演算部111と同様の処理を行うことで、所定の特徴点を第2特徴点として複数抽出する。しかし、赤外光波形は、可視光波形と比較すると、光源から出る赤外光の光量によって、大きく変化する。つまり、赤外光波形は、可視光波形よりも光源の光量の影響を受けやすい。
図15は、赤外光光源の光量の異なるレベルごとに、赤外光カメラで人の肌画像を取得した場合の赤外光波形を示すグラフである。図15では、(a)から(d)まで、順に赤外光光源における光量のレベルを増加させている。すなわち、光源レベルは、光源レベル1が最も光量が少なく、光源レベルが増加する毎に光量が多くなり、光源レベル4が最も光量が多いことを示している。なお、光源レベルは、レベルが1増加するごとに光源の制御電圧が約0.5V増加することを示す。また、図15の各グラフにおける丸印は、脈波のピーク位置(頂点)を示している。図15の(a)のように、光源における光量が少ないと、赤外光光源からの赤外光よりもノイズが多くなり、脈波タイミングの特定が難しい。一方で、図15の(c)や(d)のように、光源における光量が多いと、脈波に応じた肌の輝度の変化が光源の光量に埋もれてしまい、脈波の形が小さくなり、脈波タイミングの特定が難しい。
ところで、可視光を照射し可視光領域で撮像した画像を用いて脈波を取得する場合、ユーザの目にとって強すぎない光量で可視光を照射しても、その照射量で十分に脈波を取得できる。しかしながら、赤外光を照射し赤外光領域で撮像した画像を用いて脈波を取得する場合、赤外光の光量を制御しても、上述したように、ノイズを含んだり赤外光の光量が多くなりすぎたりする。このため、かなり絞られた光量の範囲内でしか、脈波の取得は難しい。また、赤外光光源の光量だけ所定の値に予め決めていても、取得する肌の部位や、ユーザの肌質、肌の色等によっても変化するため、予め適切な光量を決めておくことは難しい。したがって、次に述べる相関度演算部113によって、可視光波形と赤外光波形とが一致するように、可視光の光量を絞りながら、赤外光の光量を適切な値になる制御を行う必要がある。
(相関度演算部113)
相関度演算部113は、可視光波形演算部111から得られた可視光波形と、赤外光波形演算部112から得られた赤外光波形との間の相関度を演算する。そして、相関度演算部113は、算出した相関度に応じて、可視光光源121および赤外光光源123における各光量を調整する指令を決定し、決定した指令を光源制御部114に送る。
相関度演算部113は、可視光波形演算部111から得られた可視光波形と、赤外光波形演算部112から得られた赤外光波形との間の相関度を演算する。そして、相関度演算部113は、算出した相関度に応じて、可視光光源121および赤外光光源123における各光量を調整する指令を決定し、決定した指令を光源制御部114に送る。
相関度演算部113は、特徴量として、可視光波形から算出した複数の第1心拍間隔時間と、赤外光波形から算出した複数の第2心拍間隔時間とを、可視光波形演算部111および赤外光波形演算部112からそれぞれ取得する。そして、相関度演算部113は、時系列において互いに対応する、複数の第1心拍間隔時間と、複数の第2心拍間隔時間との間の相関度を演算する。
図16は、第1心拍間隔時間と、第2心拍間隔時間とのそれぞれを時系列順のデータでプロットしたものを示すグラフである。図16のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。なお、ここで、データナンバーとは、各心拍間隔時間のデータが記録されたメモリに記憶された順番を示す。つまり、第1心拍間隔時間において、n番目(nは自然数)に記録された心拍間隔時間に対応するデータナンバーは「n」となる。また、第2心拍間隔時間において、n番目(nは自然数)に記録された心拍間隔時間に対応するデータナンバーは「n」となる。さらに、第1心拍間隔時間と第2心拍間隔時間とは、同一のタイミングにおける脈波が計測された結果であるので、原則として計測誤差がない限り、データナンバーが同一であればほぼ同じタイミングにおける脈波を計測した結果といえる。つまり、複数の第1心拍間隔時間および複数の第2心拍間隔時間とは、時系列で互いに対応する1組の第1心拍間隔時間および第2心拍間隔時間とを含む。
相関度演算部113は、相関法を用いて、複数の第1心拍間隔時間および複数の第2心拍間隔時間の相関度の演算を行う。相関度演算部113は、例えば、相関度としての相関係数が第2の閾値、例えば、0.8以上であれば、複数の第1心拍間隔時間と、複数の第2心拍間隔時間がほぼ一致しているとして判断し、光源制御部114に、ほぼ一致していることを示す信号として、例えば、「TRUE」の信号を送信する。一方で、相関度演算部113は、相関係数が第2の閾値、例えば、0.8よりも小さい値であれば、複数の第1心拍間隔時間と、複数の第2心拍間隔時間とが一致していないと判断し、光源制御部114に、一致していないことを示す信号として、例えば、「FALSE」の信号を送信する。
また、相関度演算部113は、第1心拍間隔時間および第2心拍間隔時間の相関度だけでなく、各心拍間隔時間が適切であるかを判定し、判定結果を光源制御部114に送信してもよい。相関度演算部113は、具体的には、複数の第1心拍間隔時間および複数の第2心拍間隔時間のうちで、時系列で互いに対応する第1心拍間隔時間および第2心拍間隔時間との間の絶対誤差が第3の閾値(例えば200ms)を超えているか否かを判定する。相関度演算部113は、例えば、データナンバーが同一の第1心拍間隔時間および第2心拍間隔時間の絶対誤差を算出し、当該絶対誤差が第3の閾値を超えているか否かを判定する。そして、相関度演算部113は、例えば、当該絶対誤差が第3の閾値を超えると判定した場合、可視光波形および赤外光波形のうちのいずれかのピーク点の数が過剰であると判定する。そして、相関度演算部113は、ピーク点の数が過剰である方の波形(可視光波形または赤外光波形)を光源制御部114に送信する。なお、絶対誤差の演算は下記の式1により得られる。
e=RRIRGB−RRIIR・・・(式1)
式1において、eは、対応する第1心拍間隔時間および第2心拍間隔時間との絶対誤差を示し、RRIRGBは第1心拍間隔時間を示し、RRIIRは第2心拍間隔時間を示す。
また、相関度演算部113は、eが(−1)×第3の閾値(例えば、−200ms)より小さければ、可視光におけるピーク点の数が過剰であると判定し、eが第3の閾値(例えば、200ms)より大きければ、赤外光におけるピーク点の数が過剰であると判定する。そして、相関度演算部113は、判定結果として、ピーク点の数が過剰である方の波形が可視光波形か赤外光波形かを示す情報を、光源制御部114に送信する。このように、2つの波形の対応する心拍間隔時間のずれから、どちらか波形においてピーク点を過剰に取得しいている、もしくは、ピーク点の取得に失敗していることを特定できる。
相関度演算部113は、例えば、対応する第1心拍間隔時間および第2心拍間隔時間の絶対誤差が第3の閾値を超えており、かつ、可視光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部114に当該判定の結果を示す「False,RGB」の信号を送信する。なお、相関度演算部113は、絶対誤差が第3の閾値を超えており、かつ、赤外光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部114に当該判定の結果を示す「False,IR」の信号を送信する。
図17は、心拍間隔時間が適切であるか否かの判定の具体例について説明するための図である。図17の(a)は、取得された複数の心拍間隔時間が適切でない場合を示すグラフである。図17の(b)は、図17の(a)に対応した、可視光波形または赤外光波形の一例を示すグラフである。図17の(a)のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。図17の(b)のグラフにおいて、横軸は時間を示し、縦軸は画像における輝度を示す。
図17の(a)において、点線で囲んだ二点の心拍間隔時間が適切でない部分である。心拍間隔時間は、一般的にゆらぎながら変動するが、急激に値が変動することはほぼない。例えば、図17の(a)に示すように点線で囲んだ部分以外の領域では、平均値が約950msであり、その標準偏差は約50msである。しかし、点線で囲まれた2点の心拍間隔時間は、約600〜700msと急激に値が変化している。これは、図17の(b)における破線が引かれた部分がピーク点として取得されていることが原因で起こる。すなわち、可視光波形演算部111または赤外光波形演算部112においてピーク点が過剰に取得されたことによって起こる。
可視光波形演算部111または赤外光波形演算部112のどちらかのみにおいて、図17に示したような結果が得られた場合、複数の第1心拍間隔時間および複数の第2心拍間隔時間のデータ数を比較すると、データ数が一致しなくなる。
図18にその様子を示す。図18は、可視光波形においてピーク点の過剰取得が行われ、対応する赤外光波形においてピーク点の過剰取得が行われなかった場合の例を説明するための図である。
複数の第1または第2心拍間隔時間のデータは、例えば、(データNo、心拍間隔時間)という形式でストレージ103に格納する。可視光波形において取得される複数の第1心拍間隔時間を示すデータは、例えば、(x、t20−t11)、(x+1、t12−t20)、(x+2、t13−t12)となる。また、赤外光波形において取得される複数の第2心拍間隔時間を示すデータは、例えば、(x、t12−t11)、(x+1、t13−t12)となる。これにより、可視光波形および赤外光波形のそれぞれにおいて取得されたデータを比較すると、同じ時間区間t11〜t13の間で取得されたデータであるのに、データ数がずれてしまっている。これにより、その後の第1心拍間隔時間および第2心拍間隔時間の間のデータの対応関係が全てずれ、心拍間隔時間の時間変動の相関度がずれることになる。
したがって、相関度演算部113は、可視光波形演算部111と赤外光波形演算部112とで得られた、第1または第2心拍間隔時間の各データナンバーにおける心拍間隔時間の絶対誤差が、第3の閾値、例えば、200ms以上であるとき、ピーク点の数が多い方の脈波ピークを一つ削除する。そして、相関度演算部113は、削除したピークに対応するデータナンバーから以降のデータナンバー一つ分ずつ減らす処理を行う。
つまり、相関度演算部113は、上記のように、ピーク点(つまり、所定の特徴点)が過剰に取得されていると判定した場合、所定の特徴点が多い方の波形(可視光波形または赤外光波形)における心拍間隔時間の演算の基準となった所定の特徴点を当該心拍間隔時間の演算対象から除外してもよい。つまり、相関度演算部113は、eが(−1)×第3の閾値より小さければ、当該eを算出するのに用いたRRIRGBの演算の基準となったピーク点を第1心拍間隔時間の演算対象から除外する。相関度演算部113は、eが第3の閾値より大きければ、当該eを算出するのに用いたRRIIRの演算の基準となったピーク点を第2心拍間隔時間の演算対象から除外する。
また、ピーク点の過剰取得は、取得した波形(可視光波形または赤外光波形)においてノイズが多いことにより起きる。このため、過剰取得した方の波形が可視光波形であるか、赤外光波形であるかを把握し、例えば、上述したように「FALSE,RGB」というような信号を生成し、生成した信号を光源制御部114に送信する。つまり、光源制御部114は、「FALSE,RGB」の信号を受信すれば、可視光波形と赤外光波形との間の心拍間隔時間が一致していないこと、および、一致していない原因は可視光波形であることを把握できる。このように、可視光波形と赤外光波形とのピーク点の取得におけるデータずれを把握でき、把握した結果を示す情報を光源制御部114に送信できるため、可視光波形および赤外光波形におけるユーザの脈波をより正確に取得することが可能になる。
なお、相関度演算部113では、第1心拍間隔時間と第2心拍間隔時間との相関度の判定において、第2の閾値を0.8として判定したが、これに限るものではない。具体的には、ユーザが計測したい生体情報の正確性に応じて、第2の閾値を変えてもよい。例えば、ユーザが睡眠時における赤外光での脈波抽出を厳密に行うことで、睡眠中の生体情報、例えば、心拍や血圧等の情報をより正確に取得したい場合、判定基準とする第2の閾値を大きくし、例えば0.9等の値にしてもよい。
また、基準としている相関係数の第2の閾値を調整した場合、調整した第2の閾値に応じて、表示画面104に、取得データの信頼度として表示してもよい。例えば、可視光波形と赤外光波形との間での特徴量がなかなか一致せず、睡眠時等に、可視光の光源からの光量を低減できない場合、基準となる相関係数の第2の閾値を、例えば、0.6等の0.8よりも小さい値に変更してもよい。その際、相関度に関する正確性は、小さくなるので、提示装置40に信頼度が小さくなったことを表示してもよい。
相関度演算部113は、可視光波形および赤外光波形から時系列で取得した第1および第2心拍間隔時間の相関係数が第2の閾値より小さい場合、または、可視光波形演算部111および赤外光波形演算部112において、第1所定期間のピーク点を過剰取得した場合、可視光波形および赤外光波形のそれぞれの変曲点を用いて、可視光波形と赤外光波形との相関度を判定してもよい。具体的には、前述したように、可視光波形および赤外光波形における第1および第2心拍間隔時間の相関係数が、第2の閾値、例えば、0.8より小さい場合、または、可視光波形演算部111および赤外光波形演算部112で取得したピーク点の数が、第1所定区間(例えば、5秒間)において一致せず、少なくとも一方の波形におけるピーク点の数が第1の閾値(例えば、10個)を超えていた場合、可視光波形と赤外光波形との両方の波形における変曲点を使用し、各波形において変曲点間の時間間隔情報の相関度を判定してもよい。
つまり、相関度演算部113は、可視光波形または赤外光波形のうちのピーク点の数が第1所定期間において、第1の閾値を超えるか否かを判定する。相関度演算部113は、当該ピーク点の数が第1所定期間において第1の閾値を超えると判定した場合、次の処理を行ってもよい。つまり、相関度演算部113は、可視光波形演算部111に、可視光波形における頂点から底点までの間の変曲点を第1特徴点として複数抽出させる。また、相関度演算部113は、赤外光波形演算部112に、赤外光波形における頂点から底点までの間の変曲点を第2特徴点として複数抽出させる。また、相関度演算部113は、可視光波形演算部111に、抽出した複数の第1特徴点のそれぞれについて、当該第1特徴点に隣接する他の第1特徴点との間の時間を第1心拍間隔時間として算出させる。また、相関度演算部113は、赤外光波形演算部112に、抽出した複数の第2特徴点のそれぞれについて、当該第2特徴点に隣接する他の第2特徴点との間の時間を第2心拍間隔時間として算出させる。そして、相関度演算部113は、時系列において互いに対応する、複数の第1心拍間隔時間と、複数の第2心拍間隔時間との間の相関度を、相関度として演算する。
図19は、変曲点を用いて相関度を算出する場合を説明するための図である。図19の(a)は、可視光波形において取得されたピーク点(頂点)を示すグラフであり、図19の(b)は、赤外光波形において取得されたピーク点(頂点)を示すグラフである。図19の(a)および(b)において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。
図19の(a)では、可視光波形において、過剰にピーク点を取得しており、第1所定期間(5秒間)において、ピーク点が、第1の閾値以上または第1の閾値を超える、10個または11個存在するのがわかる。一方で、図19の(b)では、赤外光波形において、ピーク点は一定の心拍間隔時間で取得されており、標準偏差が100ms以下である。この時、可視光波形および赤外光波形における第1および第2心拍間隔時間を示す時系列のデータナンバーがずれることになる。
したがって、相関度演算部113は、可視光波形演算部111と赤外光波形演算部112とより取得した、各脈波の頂点−底点間に存在する変曲点を利用して、可視光波形および赤外光波形の間の相関度を演算してもよい。相関度演算部113は、例えば、変曲点を用いて算出した第1心拍間隔時間と第2心拍間隔時間とを可視光波形演算部111および赤外光波形演算部112に算出させ、当該第1および第2心拍間隔時間の間の相関度度を演算する。具体的な演算法としては、可視光波形と赤外光波形との変曲点間の心拍間隔時間の相関や絶対誤差によって評価する。
なお、相関度演算部113では、可視光波形または赤外光波形における心拍間隔時間の相関係数が第2の閾値より小さい場合、または、可視光波形または赤外光波形におけるピーク点の数が第1所定期間において、少なくとも一方の波形におけるピーク点の数が、第1の閾値より多い場合、変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算するとしたが、これに限るものではない。例えば、相関度演算部113は、ピーク点を用いず、最初から変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算してもよい。これにより、可視光波形または赤外光波形からピーク点を精度よく取得できていない場合であっても、変曲点間の心拍間隔時間を算出することで、心拍間隔時間に類似した時間を算出できる。ただし、変曲点間の心拍間隔時間は、ピーク点から取得できる心拍間隔時間に比べて、ノイズはのりにくいが、変曲点が頂点−底点間で変動しやすいという特徴を持つ。すなわち、頂点−頂点の心拍間隔時間が安定しており、例えば、標準偏差が100ms以内となりやすく、変曲点−変曲点間の心拍間隔時間よりも、時間誤差が小さくなる傾向にある。したがって、本開示においては、特に断りがない限り、ピーク点から演算する心拍間隔時間を優先して使用する。
また、相関度演算部113は、上記とは別に、次の条件を満たした場合、変曲点間の心拍間隔時間をピーク点から演算する心拍間隔時間の代わりに、相関度の演算に用いてもよい。その条件とは、例えば、複数の心拍間隔時間および複数の心拍間隔時間のうち、可視光波形および赤外光波形のうちのピーク点の数が少ない方の波形に対応する心拍間隔時間の標準偏差が第4の閾値(例えば、100ms)以下であることである。これは、第1所定期間におけるピーク点の数だけで、過剰にピーク点が取得されたか否かを判定する場合、実は、ピーク点の数が過剰であるのに、第1所定期間におけるピーク点の数が第1の閾値を超えているという条件にあてはまらず、過剰に取得されたピーク点を見過ごす可能性がある。
例えば、図20は、ピーク点の数が過剰であるのに、第1所定期間におけるピーク点の数が第1の閾値を超えているという条件に当てはまらない例を説明するための図である。図20の(a)および(b)において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。
図20の(a)に示すように、可視光波形において、5秒間で取得されたピーク点の数が8個であった場合、第1所定期間におけるピーク点の数が第1の閾値を超えているという条件にはあてはまらないが、図20の(b)に示す赤外光波形において取得されたピーク点の数とは異なる数のピーク点が取得されている。このとき、前述したように、一つでもピーク点を過剰に取得すると、第1心拍間隔時間および第2心拍間隔時間におけるデータナンバーが一つずつずれていくという問題がある、そこで、可視光波形または赤外光波形のいずれか一方の心拍間隔時間がほぼ一定であることが示すことができれば、当該波形のピーク点の数に応じて、調整(削除)することができる。ピーク点の調整の詳細は、図18を用いて説明したとおりである。
なお、相関度演算部113は、可視光波形および赤外光波形の両方の波形において、第1所定期間での心拍間隔時間の標準偏差が第4の閾値を超える場合、両方の波形から適切な脈波タイミングが取得できないと判定し、光源制御部114に、両方の波形から適切な脈波タイミングが取得できないことを示す「False,Both」の信号を送信する。
相関度演算部113は、車載表示装置10を使用開始時、かつ、可視光波形演算部111によって、第1所定期間でピーク点が適切に取得できていた場合(すなわち、心拍間隔時間の標準偏差が第4の閾値より小さい場合)に、可視光波形の頂点−底点間の傾きを第1の傾きAとして可視光波形演算部111に演算させた結果をメモリに記憶させる。そして、相関度演算部113は、光源制御部114によって、可視光光源121または赤外光光源123における光量が変化するたびに、赤外光波形の頂点−底点間の第2の傾きが第1の傾きAになるように、光源制御部114に指令を送る。さらに、相関度演算部113は、光源制御部114において、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しなくてもよい。
図21は、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しないことを説明するための例を示す図である。図21のグラフにおいて、横軸は時間を示し、縦軸は輝度を示し、斜線の領域で光源の光量を調整している様子を示している。また、白丸および黒丸は、取得されたピーク点を示す。
図21に示すように、光源の光量を調整することで、可視光波形または赤外光波形の輝度のゲインが変化し、それに応じてピーク点の尖度も変化する。尖度が変化した後のピーク点に対して、可視光波形演算部111または赤外光波形演算部112においてフィルタをかけると、フィルタをかける前の生波形のピークの尖度によって、ピーク点の位置が時間軸において前後に変化する。生体情報として心拍数を算出する程度であれば、この誤差は問題にならないが、脈波伝播時間から血圧を算出する場合等では、この誤差による影響は大きい。したがって、本開示の車載表示装置10では、制御信号により可視光光源121または赤外光光源123の光量を制御している間において取得された可視光波形または赤外光波形から所定の特徴点(つまり、ピーク点)を抽出しなくてもよい。
なお、相関度演算部113は、可視光波形および赤外光波形における心拍間隔時間の相関係数が、第2の閾値より小さい場合、いずれか一方または両方の波形のピーク点の数が過剰であるとして、心拍間隔時間の誤差や各心拍間隔時間の標準偏差を算出し、所定の条件を満たした場合、波形の頂点から底点までの間の変曲点間の心拍間隔時間を用いるとしたが、これに限らない。相関度演算部113は、例えば、第1心拍間隔時間および第2心拍間隔時間の相関係数が第2の閾値より小さくても、両波形におけるピーク点は適切に取得できている(例えば、両波形の心拍間隔時間における標準偏差が共に、第4の閾値以下である)場合、光源制御部114に、「False」の信号のみを送信する。
このように、相関度演算部113は、演算した相関度と、可視光波形および赤外光波形からの所定の特徴点の抽出結果とに応じた信号(例えば、「True」、「False」、「False,RGB」、「False,IR」および「False,Both」のいずれか)を光源制御部114に送信する。
(光源制御部114)
光源制御部114は、運転判定部116により判定され、送信された車両の運転状態から、可視光光源121における光源の光量を制御する。また、相関度演算部113から受信した信号に応じて、可視光光源121が出射する可視光の光量と、赤外光光源123が出射する赤外光の光量とを制御する。具体的には、光源制御部114は、ユーザから発せられる可視光が低下するように表示画面104を制御し、赤外光撮像部124が受光する赤外光から抽出される波形から脈波成分の特徴量が得られる状態で、表示画面104の制御を停止するようにしてもよい。
光源制御部114は、運転判定部116により判定され、送信された車両の運転状態から、可視光光源121における光源の光量を制御する。また、相関度演算部113から受信した信号に応じて、可視光光源121が出射する可視光の光量と、赤外光光源123が出射する赤外光の光量とを制御する。具体的には、光源制御部114は、ユーザから発せられる可視光が低下するように表示画面104を制御し、赤外光撮像部124が受光する赤外光から抽出される波形から脈波成分の特徴量が得られる状態で、表示画面104の制御を停止するようにしてもよい。
具体的には、運転判定部116は、ユーザがエンジンをかけた、または、周囲の環境光が暗くなったこと等により、可視光脈波が取得できなくなった際に、「Flag=ON」の信号を受信することで、可視光光源121が出射する光の光量を大きくし、また、相関度演算部113から得た、可視光脈波と赤外光脈波との脈波特徴量の一致度から、赤外光光源123と可視光光源121における光源の光量を制御する。
例えば、光源制御部114は、エンジンがかかっていない、ユーザが運転中(すなわち車両が動いている)、または、車両内の照度が、所定の閾値(例えば50ルクス)より大きいことなどにより、可視光波形演算部111が可視光脈波を取得できているときには、運転判定部116から「Flag=OFF」の信号を受信している。しかし、エンジンがかかっている、かつ、車両が停止中、かつ、車両内の照度が所定の閾値(例えば50ルクス)以下であることにより、可視光波形演算部111が可視光脈波を取得できていないときには、光源制御部114は、運転判定部116から「Flag=ON」の信号を受信する。そして、光源制御部114は、「Flag=OFF」から「Flag=ON」になった瞬間に、可視光光源121が出射する光の光量を、車両内の照度が例えば1000ルクスになるように、大きくする。その後、光源制御部114は、相関度演算部113からの信号によって、可視光光源121と赤外光光源123の光源の光量を制御するが、そのプロセスの詳細については、後述する。
また、光源制御部114は、運転判定部116によって運転中と判定された場合には、Flagの信号とは独立して、Driveの信号を受信する。例えば、「Drive=ON」の信号は、ユーザが車両を運転していることを意味する。ここで、「Drive=ON」の信号が受信された場合には、光源制御部114は、ユーザがカーナビゲーション装置によるナビゲーションを利用していると判断し、可視光光源121をOFFにせず、車両内の照度が例えば50ルクス程度になる光を照射し続ける。
なお、昼の場合と夜の場合とで、光源制御部114は、可視光光源121が照射する光の光量を変更してもよい。また、昼と夜との判定は、所定の時刻(例えば朝7時、又は、夕方17時)より前であるか又は後であるかの判定によるとしてもよい。
また、光源制御部114は、例えば、「False,IR」の信号を受信した場合、赤外光波形演算部112が赤外光波形において所定の特徴点を適切に取得できていないと判断できる。つまり、例えば、「False,IR」の信号は赤外光波形にノイズが多いということを示している。このため、可視光光源121における光源の量は調整せず、赤外光光源123における光源の量を増加させる。
また、光源制御部114は、「False,RGB」の信号を受信した場合、可視光波形演算部111が可視光波形において所定の特徴点を適切に取得できていないと判断できる。また、光源制御部114は、この場合、赤外光波形演算部112が赤外光波形において所定の特徴点を適切に取得できているか否かを判断できない。したがって、光源制御部114は、例えば、赤外光波形において、第1所定期間の心拍間隔時間の標準偏差が第4の閾値以下であれば、可視光光源121における光源の光量を減少させ、赤外光光源123における光源の光量を赤外光波形の頂点から底点までの間の傾きがAになるまで、増加させる。また、光源制御部114は、赤外光波形における上記標準偏差が第4の閾値を超えていれば、共に信号が取得できていないと判定し、信号を「False,Both」に変更する。
また、光源制御部114は、「FALSE,Both」の信号を受信した場合、可視光波形においても、赤外光波形においても所定の特徴点が取得できていないと判断できる。光源制御部114は、この場合、可視光波形の頂点から底点までの傾きが第1の傾きAになるまで、可視光光源121の光量を増加させる。なお、光源制御部114は、可視光波形の初期の光量がメモリに記憶されていれば、当該初期の光量になるまで可視光光源121の光量を増加させてもよい。また、光源制御部114は、赤外光光源123の光量を0まで減少させる。つまり、光源制御部114は、可視光波形および赤外光波形の両方において、所定の特徴点が取得できない場合、最も確実に取得できる状態である、可視光光源121の光量および赤外光光源123の光量を初期状態とし、再度光量の調整を行う。
つまり、光源制御部114は、複数の第1心拍間隔時間の標準偏差が第4の閾値を超えており、かつ、複数の第2心拍間隔時間の標準偏差が第4の閾値を超えている場合であって、時系列において互いに対応する第1心拍間隔時間および第2心拍間隔時間の差が第5の閾値((−1)×第3の閾値)より小さい場合、可視光光源121における可視光の光量を減少させ、かつ、赤外光光源123における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第2の傾きが、メモリに記憶している第1の傾きAになるまで、赤外光の光量を増加させる。
また、光源制御部114は、複数の第1心拍間隔時間の標準偏差が第4の閾値を超えており、かつ、複数の第2心拍間隔時間の標準偏差が第4の閾値を超えている場合であって、時系列において互いに対応する第1心拍間隔時間および第2心拍間隔時間の差が第6の閾値(つまり第3の閾値)より大きい場合、赤外光光源123における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第2の傾きが、メモリに記憶している第1の傾きAになるまで、赤外光の光量を増加させる。
また、光源制御部114は、複数の第1心拍間隔時間の標準偏差が第4の閾値を超えており、かつ、複数の第2心拍間隔時間の標準偏差が第4の閾値を超えている場合であって、時系列において互いに対応する第1心拍間隔時間および第2心拍間隔時間の差が第5の閾値から第6の閾値までの間の値である場合、可視光光源121における可視光の光量を増加させ、かつ、赤外光光源123における赤外光の光量を減少させる。
なお、光源制御部114は、「False,Both」等の、可視光波形および赤外光波形の両方において、所定の特徴点が取得できなかった場合以外は、赤外光光源123の光量を赤外光波形の第2の傾きが第1の傾きAになるまで増加させるとしたが、これに限らない。光源制御部114は、例えば、ROIにおける平均輝度値が、第7の閾値、例えば240を超えている場合、光源の光量が強すぎることにより、ユーザの肌から撮像される画像がノイズ情報に埋もれてしまう。このため、光源制御部114は、この場合、赤外光波形の第2の傾きが第1の傾きAを超えていると考えられるので、第2の傾きが第1の傾きAになるまで、赤外光の光量を減少させてもよい。
図22は、脈波計測装置を用いて、可視光光源121の光量を0になるまで減少させ、かつ、赤外光光源123の光量を適切な光量まで増加させる最も簡単なステップの例を示す図である。図22における(a)〜(d)の全てのグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。また、図22では、可視光波形をRGBと表記し、赤外光波形をIRと表記している。
図22の(a)は、ユーザが車載表示装置10で可視光光源121をONにした初期状態において、取得された可視光波形および赤外光波形を示す図である。図22の(a)の可視光波形は、図22の(a)〜(d)の可視光波形のうちで、頂点から底点までの傾きが最も大きい波形である。したがって、この時の可視光波形の頂点から底点までの傾きを第1の傾きAとして、メモリに記憶する。
また、この時、赤外光光源123はOFFとなっている。このため、赤外光波形は、ほとんど取得されない。この状態では、相関度演算部113は、光源制御部114に、例えば、「False,IR」という信号を送信する。したがって、光源制御部114では、赤外光光源123における赤外光光源123の光量を増加させる。この時、赤外光光源123の光量を増加させるにつれて、赤外光波形演算部112では、赤外光波形の所定の特徴点が取得できるようになり、第2の心拍間隔時間が取得できる。また、取得した第2心拍間隔時間の標準偏差は、第4の閾値以内に収まるようになる。そして、図22の(b)に示すように、第2心拍間隔時間の標準偏差を第4の閾値以内に収まった状態を維持しながら、赤外光波形の頂点−底点間の第2の傾きが第1の傾きAになるまで、赤外光光源123の光量を増加させる。第2の傾きが第1の傾きAとなった場合、相関度演算部113は、光源制御部114に、例えば、「TRUE,AMP=A」の信号を送信する。このため、光源制御部114は、「TRUE,AMP=A」の信号を受信した時点で、光源の調整を一度中止する。
次に、図22の(b)の状態から、光源制御部114は、可視光光源121における可視光源の光量を減少させていく。図22の(c)は、赤外光波形演算部112において、心拍間隔時間の標準偏差が第4の閾値以下であり、可視光光源121における光源がOFFとなっている状態である。また、図22の(d)は、さらに、可視光光源121における光源がOFFとなっており、かつ、赤外光波形における第2の傾きが第1の傾きAとなっている状態、すなわち、最終的に目指す状態である。
図22の(b)の状態から図22の(c)の状態になる過程では、可視光の光量を一定間隔ずつ、例えば、1Wずつ減少させていく。そして、可視光の光量を減少させるたびに、赤外光波形演算部112および相関度演算部113は、赤外光波形において所定の特徴点が適切に取得できているか確認する。また、赤外光波形演算部112および相関度演算部113は、赤外光波形において所定の特徴点が適切に取得できていることが確認できれば、図22の(d)に示すように、赤外光光源123の光源における光量を、赤外光波形における第2の傾きが第1の傾きAになるまで増加させる。
したがって、図22の(b)の状態から図22の(c)の状態になる過程では、相関度演算部113は、光源制御部114に対して、「True」の信号、もしくは、「False,IR」の信号を送信し、光源制御部114は、「False,IR」の信号を受信する度に「True」になるまで、赤外光光源123の光量を調整する。そして、光源制御部114は、可視光光源121の光量を減少させることで、相関度演算部113から「False,RGB」を受信すると、この過程を終了する。
または、図22の(c)の状態から図22の(d)の状態になる過程において、相関度演算部113は、光源制御部114に対し、「False,RGB」の信号を送信し、光源制御部114は、赤外光光源123における光源の光量を赤外光波形における第2の傾きが第1の傾きAになるまで増加させ続け、例えば、可視光波形が取得できず、かつ、第2の傾きが第1の傾きAになったことを示す「False,RGB,AMP=A」の信号を相関度演算部113から受信すれば、光源制御部114による光源の光量の制御を終了する。
また、光源制御部114は、可視光波形演算部111または赤外光波形演算部112において、可視光波形または赤外光波形のそれぞれ、当該波形から連続する2つ以上の所定の特徴点が取得できた後に、光源の制御を行うという特徴を持つ。つまり、光源制御部114は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する2つ以上の所定の特徴点が第2所定期間内に抽出されるまで、可視光光源121における可視光の光量を制御する制御信号、または、赤外光光源123における赤外光の光量を制御する制御信号の出力を待機する。
図23は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する2つ以上の所定の特徴点が第2所定期間内に抽出されるまで、光源制御を待機することを説明するための図である。図23におけるグラフは、可視光波形または赤外光波形を示す。図23のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。
光源制御部114は、可視光光源121、または、赤外光光源123の光量を変化させると、可視光波形または赤外光波形の輝度のゲインが変化する。そして、輝度のゲインが変化すると、脈波タイミングの位置がずれるため、心拍間隔時間等のタイミングの算出において、大きな誤差が生じる。また、本開示では、可視光波形と赤外光波形との相関度の判定材料として、心拍間隔時間を主に用いており、心拍間隔時間を算出するためには2つの連続するピーク点が必要である。したがって、図23に示すように、光源制御部114は、可視光波形または赤外光波形において、連続してピーク点が2つ以上取れていることを確認した後、光源量を調整する。
(生体情報算出部115)
生体情報算出部115は、可視光波形演算部111で取得された可視光波形または赤外光波形演算部112で取得された赤外光波形のそれぞれの特徴量のいずれか一方を用いて、ユーザの生体情報を算出する。生体情報算出部115は、具体的には、可視光光源121がONであり、かつ、可視光波形演算部111において可視光波形を取得できる場合、可視光波形演算部111から第1心拍間隔時間を取得する。そして、生体情報算出部115は、第1心拍間隔時間を用いて、例えば心拍数、ストレス指数などの生体情報を算出する。
生体情報算出部115は、可視光波形演算部111で取得された可視光波形または赤外光波形演算部112で取得された赤外光波形のそれぞれの特徴量のいずれか一方を用いて、ユーザの生体情報を算出する。生体情報算出部115は、具体的には、可視光光源121がONであり、かつ、可視光波形演算部111において可視光波形を取得できる場合、可視光波形演算部111から第1心拍間隔時間を取得する。そして、生体情報算出部115は、第1心拍間隔時間を用いて、例えば心拍数、ストレス指数などの生体情報を算出する。
一方で、生体情報算出部115は、可視光光源121がOFFである、または、可視光波形演算部111において可視光波形が取得できない場合であって、赤外光波形演算部112において赤外光波形が取得できる場合、赤外光波形演算部112から第2心拍間隔時間を取得する。そして、生体情報算出部115は、第2心拍間隔時間を用いて、同様に、例えば心拍数、ストレス指数などの生体情報を算出する。
なお、生体情報算出部115は、可視光波形演算部111および赤外光波形演算部112の両方において各波形(可視光波形および赤外光波形)の特徴量(心拍間隔時間)が抽出できている場合、可視光波形演算部111からの第1心拍間隔時間を用いて、生体情報を算出する。これは、赤外光よりも可視光の方が、体動等のノイズへのロバスト性があり、信頼性が高いからである。
なお、算出する生体情報は、心拍数やストレス指数としたが、これに限ったものではない。例えば、得られた脈波から加速度脈波を算出し、動脈硬化指数を算出してもよい。また、2箇所の異なるユーザの部位から脈波のタイミングを正確に取得し、その時間差(脈波伝播時間)から血圧を推定してもよい。また、心拍間隔時間の変動から、交感神経、副交感神経の優位性を算出し、ユーザの眠気を算出してもよい。
(運転判定部116)
運転判定部116は、車両の運転状態を、車両のエンジンがかかっているかどうか、及び、ユーザが車両を運転しているかどうか等に基づいて判定し、可視光波形演算部111から得た脈波情報と合わせて、光源制御部114に送信する。そして、光源制御部114は、例えば、車両が停車している状態を示す運転状態であるときに、赤外光光源123による赤外光の出射の制御をしてもよい。
運転判定部116は、車両の運転状態を、車両のエンジンがかかっているかどうか、及び、ユーザが車両を運転しているかどうか等に基づいて判定し、可視光波形演算部111から得た脈波情報と合わせて、光源制御部114に送信する。そして、光源制御部114は、例えば、車両が停車している状態を示す運転状態であるときに、赤外光光源123による赤外光の出射の制御をしてもよい。
具体的には、運転判定部116は、4つの信号を取得し、可視光光源121をONにするかどうかの判定信号を送信する。
4つの信号の1つ目は、「Drive」である。運転判定部116は、速度センサを備え、速度センサが取得する速度が、所定の閾値(例えば5km/h)を超えた場合に「Drive=ON」とし、そうでない場合に「Drive=OFF」とする。
4つの信号の2つ目は、「Engine」である。運転判定部116は、車両のエンジンがかかっている(ON)か、又は、かかっていない(OFF)かを判定する。例えば、車両のエンジンを始動するときに車載表示装置10に電流が流れるように構成されている前提において、車載表示装置10に電流が流れたらエンジンがONであると判定して「Engine=ON」とし、そうでないときにエンジンがOFFであると判定して「Engine=OFF」とする。
4つの信号の3つ目は、「lx」である。可視光波形演算部111において、車両内の照度が所定の閾値(例えば50ルクス)以下であれば、「lx=OFF」とし、そうでない場合に「lx=ON」とする。
4つの信号の4つ目は、「Pulse」である。運転判定部116は、可視光波形演算部111から、ユーザの可視光脈波の波形を取得した頻度を得る。脈波の取得頻度が十分である、例えば、可視光脈波の心拍間隔時間の標準偏差が第4の閾値以下であれば、「Pulse=ON」とし、そうでなければ、「Pulse=OFF」とする。なお、脈波の取得頻度の判定には、可視光における心拍間隔時間の標準偏差で判定するとしたが、これに限ったものではない。例えば、所定の時間区間における脈波ピークの数で判定してもよい。
運転判定部116は、以上の4つの信号を総合的に判断して、可視光光源121をどのように制御するかを示す信号を光源制御部114に送る。具体的には、例えば、(Drive,Engine,lx,Pulse)=(OFF,ON,OFF,OFF)のときに「Flag=ON」とした信号を光源制御部114に送信し、一方、上記以外のときに「Flag=OFF」とした信号を光源制御部114に送信する。
図24にその例について示す。図24の(a)及び(b)は、エンジンがかかっている場合、すなわち、「Engine=ON」である場合の図を表している。図24の(a)は、スピードメータが約60km/hを示しているので、ユーザは運転中である。したがって、「Drive=ON」であるため、「Flag=OFF」となり、可視光光源121は、光源制御部114により、光量を大きくして、ユーザの脈波を取得することはない。このとき、光源制御部114は、車両内の照度が50ルクス程度になる光を可視光光源121に照射させ、ユーザがカーナビゲーション装置によるナビゲーションを利用できる状態にする。
一方、図24の(b)は、エンジンがかかっているが、スピードメータが0km/h、すなわち、「Engine=ON」かつ「Drive=OFF」である場合を示している。また、このとき、車両内は比較的暗く(例えば、照度が40ルクス程度)、ユーザの脈波の標準偏差が第4の閾値より大きいために取得できなかったとする。このとき、運転判定部116は、(Drive,Engine,lx,Pulse)=(OFF,ON,OFF,OFF)と判定できる。よって、可視光光源121は光源制御部114により、地図情報等が消え、ユーザの脈波を取得するために、車両内の照度が例えば1000ルクスになる光量で光を照射する。
(表示画面104)
表示画面104は、可視光撮像部122で撮像したユーザの顔画像を提示し、ユーザの顔が可視光撮像部122に映るように、ユーザに指示を与える。また、生体情報算出部115より得た生体情報を提示する。具体的には、表示画面104は、生体情報算出部115より得た心拍数、ストレス指数、ユーザの眠気情報等を表示する。表示画面104は、画素を発光するための光源として可視光光源121を有する。
表示画面104は、可視光撮像部122で撮像したユーザの顔画像を提示し、ユーザの顔が可視光撮像部122に映るように、ユーザに指示を与える。また、生体情報算出部115より得た生体情報を提示する。具体的には、表示画面104は、生体情報算出部115より得た心拍数、ストレス指数、ユーザの眠気情報等を表示する。表示画面104は、画素を発光するための光源として可視光光源121を有する。
なお、表示画面104は、生体情報算出部115より得た生体情報を提示するとしたが、これに限らない。表示画面104は、例えば可視光光源121が照射する光の光量、又は、赤外光光源123が照射する光の光量を常に提示してもよい。また、表示画面104は、相関度演算部113より、現在時点での一致度を、例えば、信頼度として%表示で提示してもよい。具体的には、表示画面104は、可視光波形と赤外光波形との間の相関係数を提示してもよい。
図25に表示画面104による表示の例を示す。図25では、表示画面104は、ユーザの心拍数、ストレス指数、眠気指数、現在の脈波取得信頼度(現時点における取得される脈波の信頼度)、可視光光源121と赤外光光源123との光量の比、及び、ユーザの覚醒状態を表示している。ここで、現在の脈波取得信頼度は、可視光脈波と赤外光脈波との心拍間隔時間の一致度における相関係数を示す。また、可視光光源121と赤外光光源123との光量の比は、現時点における可視光光源121の光量と赤外光光源123の光量の強さの比である。ユーザの覚醒状態は、上記の各情報から判定される、ユーザの運転における覚醒状態であり、例えば、心拍数65以下、ストレス指数40以下、睡眠深度が40以下である場合に「GOOD」とする。なお、これらの表示内容は、表示することに加えて、例えば音声等で知らせてもよい。また、ユーザの覚醒指数が低下した場合等にはアラーム音で警告等をしてもよい。ユーザは車両を運転しているので、情報を視覚データとして得るより音声等で得る方が適切であることもあるからである。
図26に、本実施の形態における車載表示装置10の、可視光光源121の光量を調節するための運転判定部116による判定処理の流れを示すフローチャートを示す。
ステップS101において、運転判定部116は、ユーザが乗車する車両のエンジンがかかっているか否かを判定する。エンジンがかかっていればステップS102へ進み、そうでなければステップS107へ進む。
ステップS102において、運転判定部116は、ユーザが乗車する車両の速度が5km/h以上であるか否かを判定する。車両の速度が5km/hより大きければステップS106へ進み、そうでなければステップS103へ進む。
ステップS103において、運転判定部116は、車両内の照度が50ルクス以上あるか否かを判定する。車両内の照度が50ルクス以上あればステップS107へ進み、そうでなければステップS104へ進む。
ステップS104において、運転判定部116は、可視光波形演算部111から得た、可視光脈波の心拍間隔時間の標準偏差が第4の閾値以下であるか否かを判定する。可視光脈波の心拍間隔時間の標準偏差が第4の閾値以下であればステップS107へと進み、そうでなければステップS105へと進む。
ステップS105において、運転判定部116は、Flag信号をONとし、判定処理を終了する。
ステップS106において、運転判定部116は、Drive信号をONとする。ステップS102において、車両が運転中であると判定されたからである。
ステップS007において、運転判定部116は、Flag信号をOFFとし、処理を終了する。ステップS101においてエンジンがかかっていないと判定された場合、ステップS102においてユーザが運転中であると判定された場合、ステップS103により車両内の照度が50ルクス以上あると判定された場合、又は、ステップS104により可視光脈波の心拍間隔時間標準偏差が第4の閾値以下と判定された場合には、可視光光源121により1000ルクスの光をユーザに照射することが適当でないからである。
図27に、図26の処理後の光源制御部114から可視光光源121への処理の流れを示すフローチャートを示す。
ステップS201において、光源制御部114は、運転判定部116より受信したFlag信号がONであるか否かを判定する。Flag情報がONであれば、ステップS203へと進み、Flag情報がONでない、つまりOFFであれば、ステップS202へと進む。
ステップS202において、光源制御部114は、運転判定部116より受信したDrive信号がONであるか否かを判定する。Drive信号がONであればステップS204へと進み、そうでなければ処理を終了する。
ステップS203において、光源制御部114は、可視光光源121が照射する光の光量を、車両内の照度が1000ルクスになるように調節し、処理を終了する。
ステップS204において、光源制御部114は、可視光光源121における光量を、車両内の照度が50ルクスになるように調節し、処理を終了する。
図28に、本実施の形態における車載表示装置10による、可視光光源121を起動してから赤外光光源123が照射する光の光量を決定する処理の流れを示すフローチャートを示す。
ステップS300において、可視光光源121を起動する。このとき、可視光脈波を取得しやすいように、車両内の照度が1000ルクスになるように可視光光源121が照射する光の光量が制御されてもよい。
ステップS301において、可視光波形演算部111は、可視光光源121により可視光を照射されたユーザを可視光領域において撮像することにより得られた可視光画像を取得し、取得した可視光画像から、ユーザの脈波を示す波形である可視光波形を抽出する。可視光波形演算部111は、可視光波形において所定の特徴点である第1特徴点を複数抽出する。そして、可視光波形演算部111は、可視光波形の特徴量として、第1心拍間隔時間を算出する。また、可視光波形演算部111は、この時の可視光波形の頂点から底点までの傾きを第1の傾きAとしてメモリに記憶させる。
ステップS302において、赤外光波形演算部112は、赤外光光源123により赤外光を照射されたユーザを赤外光領域において撮像することにより得られた赤外光画像を取得し、取得した赤外光画像から、ユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部112は、赤外光波形において所定の特徴点である第2特徴点を複数抽出する。そして、赤外光波形演算部112は、赤外光波形の特徴量として、第2心拍間隔時間を算出する。
ステップS303において、相関度演算部113は、ピーク点の判定を行う。具体的には、相関度演算部113は、可視光波形において抽出された第1特徴点について、過剰取得されたピーク点がないか否かを判定する。また、相関度演算部113は、赤外光波形において抽出された第2特徴点について、過剰取得されたピーク点がないか否かを判定する。なお、相関度演算部113によるピーク点の判定処理の詳細は、後述する。
ステップS304において、相関度演算部113は、可視光波形および赤外光波形の相関度を演算する。なお、相関度演算部113による相関度の演算処理の詳細は、後述する。
ステップS305において、光源制御部114は、各光源の光量の調整を行う。光源制御部114は、光量の調整の結果に応じて、各光源の光量を制御するための制御信号を出力する。なお、光源制御部114による光量の調整処理の詳細は、後述する。
ステップS306において、生体情報算出部115は、可視光波形の特徴量および赤外光波形の特徴量の少なくとも一方から、生体情報を算出する。
ステップS307において、生体情報算出部115は、算出した生体情報を提示装置40へ出力する。
図29は、本実施の形態におけるピーク点の過剰取得判定処理の詳細を示すフローチャートである。
ステップS401において、相関度演算部113は、第1心拍間隔時間の標準偏差SDRGBを算出する。
ステップS402において、相関度演算部113は、標準偏差SDRGBが第4の閾値以下であるか否かを判定する。
ステップS403において、相関度演算部113は、標準偏差SDRGBが第4の閾値以下であると判定した場合(S402でYes)、第2心拍間隔時間の標準偏差SDIRを算出する。
ステップS404において、相関度演算部113は、標準偏差SDIRが第4の閾値以下であるか否かを判定する。
ステップS405において、相関度演算部113は、標準偏差SDIRが第4の閾値以下であると判定した場合(S404でYes)、「False」の信号を光源制御部114に送信する。
ステップS406において、相関度演算部113は、標準偏差SDRGBが第4の閾値を超えると判定した場合(S402でNo)、または、標準偏差SDIRが第4の閾値を超えると判定した場合(S404でNo)、対応する第1心拍間隔時間と第2心拍間隔時間との間の絶対誤差eを算出する。
ステップS407において、相関度演算部113は、絶対誤差eが−200〔ms〕より小さいか否かを判定する。
ステップS409において、相関度演算部113は、絶対誤差eが−200〔ms〕より大きいと判定した場合(S407でNo)、「False,RGB」の信号を光源制御部114に送信する。
ステップS408において、一方で、相関度演算部113は、絶対誤差eが−200〔ms〕より小さいと判定した場合(S407でYes)、絶対誤差eが200〔ms〕より大きいか否かを判定する。
ステップS410において、相関度演算部113は、絶対誤差eが200〔ms〕より大きいと判定した場合(S408でYes)、「False,IR」の信号を光源制御部114に送信する。
ステップS411において、相関度演算部113は、絶対誤差eが200〔ms〕より小さいと判定した場合(S408でNo)、「False,Both」の信号を光源制御部114に送信する。
図30は、本実施の形態における相関度の演算処理の詳細を示すフローチャートである。
ステップS501において、相関度演算部113は、複数の第1心拍間隔時間と複数の第2心拍間隔時間との相関度を演算する。
ステップS502において、相関度演算部113は、演算することにより得られた相関度が第2の閾値より大きいか否かを判定する。
ステップS503において、相関度演算部113は、相関度が第2の閾値より大きいと判定した場合(S502でYes)、「True」の信号を光源制御部114に送信する。
ステップS504において、相関度演算部113は、相関度が第2の閾値以下で有ると判定した場合(S502でNo)、「False」の信号を光源制御部114に送信する。
図31は、本実施の形態における光量の調整処理の詳細を示すフローチャートである。
ステップS601において、光源制御部114は、相関度演算部113から受信した信号が、「True」、「False」、「False,IR」、「False,RGB」および「False,Both」の信号のいずれの信号であるかを判定する。
ステップS602において、光源制御部114は、受信した信号が「True」の信号である場合、可視光の光量を減少させ、かつ、赤外光の光量を増加させる。
ステップS603において、光源制御部114は、受信した信号が「False」または「False,IR」の信号である場合、赤外光の光量のみを増加させる。
ステップS604において、光源制御部114は、ステップS602またはステップS603において、赤外光の光量を増加させた場合、赤外光波形の第2の傾きがメモリに記憶している第1の傾きAに等しいか否かを判定する。
光源制御部114は、第2の傾きが第1の傾きに等しいと判定すれば(S604でYes)、光量の調整処理を終了する。
ステップS605において、光源制御部114は、受信した信号が「False,RGB」である場合、標準偏差SDIRが第4の閾値以下であるか否かを判定する。
光源制御部114は、標準偏差SDIRが第4の閾値以下であると判定した場合(S605でYes)、ステップS602の処理を行う。
ステップS606において、光源制御部114は、受信した信号が「False,Both」である場合、または、標準偏差SDIRが第4の閾値より大きいと判定した場合(S605でNo)、可視光の光量を増加させて初期の光量に戻し、かつ、赤外光の光量を減少させ赤外光光源123をOFFにする。
光源制御部114は、ステップS604において第2の傾きが第1の傾きAと異なると判定した場合(S604でNo)またはステップS606が終了した場合、ステップS300に戻る。
以上のように、本実施の形態において、本装置はエンジン開始時や、運転中に周囲環境が暗くなってからの停止中などで、可視光では脈波が取得できなくなった場合に、本装置付随のディスプレイを光らせて可視光を発光する。そして、暗闇でもユーザの脈波が取得できるように、可視光の脈波情報を用いて、赤外光でも脈波が取得できるよう、赤外光源の光量を制御する。これにより、運転手であるユーザは、夜だけでなく、昼も建物の影やトンネル等においても、脈波が容易に取得することが可能になる。
以上のように、本実施の形態に係る車載表示装置は、人の脈波を計測するのに適切な赤外光光源の光量を算出し、算出した光量の赤外線を人に照射することで人の脈波を取得する。このようにして、車載表示装置は、車両内において非接触でユーザの脈波を取得することができる。
また、車載表示装置は、可視光脈波と赤外光脈波との相関の大きさに基づいて、人に照射する赤外光の光量を制御する。これにより、可視光脈波と赤外光脈波とに相関がある状態を維持しながら赤外光の光量を変化させることができ、その結果、人の脈波を取得するのに適切な光量の赤外線を人に照射することができる。
また、車載表示装置は、車両が運転中であるか等の状態に応じて適切なときに、可視光及び赤外光を人に照射して赤外光による脈波の計測に適切な光量を決定することができる。具体的には、エンジン始動時などに人に照射すべき赤外線の光量を決定する処理を行うことができる。
また、車載表示装置は、人に照射する可視光の光量を低下させながら、可視光脈波と赤外光脈波との相関を計測し、赤外光による脈波の計測に適切な光量を決定することができる。
また、車載表示装置は、適切な赤外光の光量を決定する際に、人の目に可視光を照射することで人が眩しさを感じることを、光量の制御により抑制することができる。
また、車載表示装置は、適切な赤外光の光量を決定する際に、人の目に可視光を照射することで人が眩しさを感じることを、表示画面の姿勢の制御により抑制することができる。
また、車載表示装置は、車両が停止している状態において、赤外光による脈波の計測に適切な光量を決定することができる。
(実施の形態2)
実施の形態1では、車載表示装置の姿勢をユーザ自らが制御する例を説明した。本実施の形態においては、車載表示装置は、車両又はユーザの状態、例えば、車両が右ハンドル車であるか左ハンドル車であるか、又は、ユーザの身長又は座高によって変化するシートの位置等を判定し、それに応じて、可視光光源、可視光撮像部、赤外光光源、又は、赤外線撮像部が制御される。
実施の形態1では、車載表示装置の姿勢をユーザ自らが制御する例を説明した。本実施の形態においては、車載表示装置は、車両又はユーザの状態、例えば、車両が右ハンドル車であるか左ハンドル車であるか、又は、ユーザの身長又は座高によって変化するシートの位置等を判定し、それに応じて、可視光光源、可視光撮像部、赤外光光源、又は、赤外線撮像部が制御される。
図32は、本実施の形態における車載表示装置20の構成を示すブロック図である。図33は、本実施の形態における車載表示装置20の外観図である。なお、本実施の形態において、実施の形態1と異なる構成要素について主に説明する。また、実施の形態1と同様の構成要素については、同一の符号を付し、詳細な説明を省略することがある。
図32に示すように、車載表示装置20は、可視光光源121と、可視光撮像部122と、赤外光光源123と、赤外光撮像部124と、可視光波形演算部111と、赤外光波形演算部112と、相関度演算部113と、光源制御部114と、生体情報算出部115と、運転判定部116と、判定部131と、駆動部132とを備える。実施の形態1と同様、可視光光源121は、表示画面104が備えるものである。
図33は、車載表示装置20の外観の一例を示す。図33に示すように、車載表示装置20は、筐体を有し、その筐体に図32に示す各構成要素が配置されている。
筐体の上部には、可視光カメラ106、赤外光カメラ108が並んで備えられている。また、表示画面104の水平方向の両サイドに赤外光LED107A及び107Bが備えられている。
(可視光光源221)
可視光光源221は、基本的な構成は実施の形態1における可視光光源121とほぼ同様である。実施の形態1における可視光光源121と異なる点は、可視光光源221が、車両が右ハンドル車であるか、又は、左ハンドル車であるか、若しくは、ユーザの座る位置等によって、発光方法が変化することである。
可視光光源221は、基本的な構成は実施の形態1における可視光光源121とほぼ同様である。実施の形態1における可視光光源121と異なる点は、可視光光源221が、車両が右ハンドル車であるか、又は、左ハンドル車であるか、若しくは、ユーザの座る位置等によって、発光方法が変化することである。
図34に示すように、ユーザが初めて車載表示装置20を取り付けた車両に乗車する際に、判定部131が、車両が右ハンドル車であるか、又は、左ハンドル車であるかをユーザに尋ねる。そして、その情報に従って、可視光光源221は、表示画面104の半分のみから光を照射する。
例えば、図35の(a)に示すように、車両が左ハンドルであるという選択をユーザがした場合には、表示画面104の左半分の領域104Aが、車両内の照度が例えば1000ルクスになるよう光量を大きくして照射する。このとき、表示画面104の右半分の領域104Bは、光量を大きくすることはない。
一方、図35の(b)に示すように、車両が右ハンドル車であることをユーザが選択した場合には、表示画面104の右半分の領域104Bの光量を大きくする。このとき、表示画面104の左半分の領域104Aは、光量を大きくすることはない。
このように、可視光光源221は、車両のハンドル位置によって、可視光光源221が照射する光の光量を決めることができる。そして、表示画面104の左半分又は右半分だけから光を照射する場合、表示画面104の全領域から光を照射する場合と比較して、半分の領域による光の照射で済み、すなわち、半分の消費電力で実現される利点がある。
さらに、可視光光源221は、判定部131において、ユーザの顔の位置又はシートの位置を検知し、検知結果に応じて発光量を変化させてもよい。具体的には、例えば、一つ一つのLED素子に印加する電圧を制御することで発光量を変化させてもよいし、表示画面104のうち光を出射する領域を変化させてもよい。例えば、車両が右ハンドル車であり、座高が低く、光の照射範囲が一般的な場合と比較して下側になる場合、可視光光源221は、図36に示すように、表示画面104の右半分かつ下半分の領域104Dの光量を大きくしてもよい。このとき、表示画面104のうち上記領域104Dを除く部分(領域104C)は、光量を大きくすることはない。
なお、表示画面104の姿勢が、ハンドル位置情報に基づいて変更されてもよい。具体的には、表示画面104による光の出射方向が、ハンドルを有する席を向く方向に近づくように表示画面104を傾けてもよい。
(赤外光光源223)
赤外光光源223は、基本的な構成は実施の形態1における赤外光光源123とほぼ同様である。実施の形態1における赤外光光源123と異なる点は、赤外光光源223が、表示画面104の水平方向における両サイドに配置された2個の赤外光LED107A及び107Bを有する点である。そして、2個の赤外光LED107A及び107Bは、車両のハンドル位置の違いによって、発光するかしないかが制御される。なお、本実施の形態においては、2個の赤外光LED107A及び107Bが2個の赤外光光源に相当する。
赤外光光源223は、基本的な構成は実施の形態1における赤外光光源123とほぼ同様である。実施の形態1における赤外光光源123と異なる点は、赤外光光源223が、表示画面104の水平方向における両サイドに配置された2個の赤外光LED107A及び107Bを有する点である。そして、2個の赤外光LED107A及び107Bは、車両のハンドル位置の違いによって、発光するかしないかが制御される。なお、本実施の形態においては、2個の赤外光LED107A及び107Bが2個の赤外光光源に相当する。
例えば、図34に示すように、車載表示装置20を初めて使用するユーザに対して、車両が右ハンドル車であるか、又は、左ハンドル車であるかを判定部131により判定し、その選択に応じて、発光する赤外光LEDが決定される。例えば、車両が左ハンドル車である場合には、図35の(a)に示すように、左側の赤外光LED107Aのみが点灯する。一方、車両が右ハンドル車である場合には、図35の(b)に示すように、右側の赤外光LED107Bのみが点灯する。
このようにして、可視光光源221と同様、ユーザの車両に応じて、使用する赤外光光源を変更することで、ユーザの頬に対して照射される角度がより正確になり、また、照射する光量も、一点のみから照射する時よりも、少ない消費電力で赤外光源における脈波が取得可能である。
(判定部131)
判定部131は、車両又はユーザの特徴に基づいて、可視光光源221と赤外光光源223の発光位置や発光手段を決定する処理部である。具体的には、車両が右ハンドル車であるか、又は、左ハンドル車であるか、若しくは、ユーザの座高やシートの位置によって変わる撮像領域から、可視光光源221と赤外光光源223の発光位置や発光手段、そして、駆動部132を制御して撮像位置を決定する。
判定部131は、車両又はユーザの特徴に基づいて、可視光光源221と赤外光光源223の発光位置や発光手段を決定する処理部である。具体的には、車両が右ハンドル車であるか、又は、左ハンドル車であるか、若しくは、ユーザの座高やシートの位置によって変わる撮像領域から、可視光光源221と赤外光光源223の発光位置や発光手段、そして、駆動部132を制御して撮像位置を決定する。
例えば、ユーザが車載表示装置20を取り付けた車両に初めて乗車する際に、表示画面104を用いて、車両が右ハンドル車であるか、又は、左ハンドル車であるかをユーザに尋ねる。具体的な方法として、例えば、車載表示装置20の表示画面104にタッチセンサを備え、タッチセンサに触れた回数を「Count」として計数する。そして、カウントがCount=0からCount=1になった際に、ユーザに対し、図34に示すように、ハンドルがどちらか尋ね、設定してもよい。
なお、車両が右ハンドル車であるか、又は、左ハンドル車であるかの判定をタッチセンサにて判定するとしたが、これに限ったものではない。例えば、可視光撮像部122または、赤外光撮像部124により、ユーザがどちらのハンドルであるか判定してもよい。そして、ハンドル位置を判定した後は、判定結果を示す情報を可視光光源221と赤外光光源223と、駆動部132に送信する。
なお、車両が右ハンドル車であるか、又は、左ハンドル車であるかは、初期設定時に一度設定すれば、原則変化することはない。しかし、乗車するドライバーが変わることはあり、それに応じて、座高等が異なるため、撮像位置を調整する必要がある。そこで、判定部131は、ユーザの座高、シートの位置等から最適な表示画面104の姿勢を設定し、それに応じて、駆動部132に制御信号を送信する。
図37にその例を示す。図37の(a)は、現在のユーザの座高が、これより前のユーザの座高よりも低く、シートの位置は変わっていない場合を示す。このとき、可視光撮像部122、または、赤外光撮像部124に映るユーザの全体の顔の大きさは大きくは変わらないが、座高の差の影響により、撮像領域が顔の上側のみとなってしまい、適切に可視光脈波又は赤外光脈波を取得することが難しくなる。この場合、例えば、ユーザの顔のうちの目の位置を認識し、ディスプレイの縦方向の座標位置における目の位置が、所定の位置(例えば表示画面104の下側から4分の1の領域に含まれる位置)にあった場合、判定部131は、図37の(b)に示すように、目の座標位置が中心位置に位置するように駆動部132に情報を送信する。
(駆動部132)
駆動部132は、判定部131から受信した信号から、車載表示装置20の姿勢を制御する処理部である。例えば、駆動部132、車載表示装置20の左右方向の向きを制御するモータと、上下方向の向きを制御するモータを有する。
駆動部132は、判定部131から受信した信号から、車載表示装置20の姿勢を制御する処理部である。例えば、駆動部132、車載表示装置20の左右方向の向きを制御するモータと、上下方向の向きを制御するモータを有する。
駆動部132は、判定部131によるハンドル位置の判定結果を受信し、現時点の車載表示装置20の姿勢では、可視光波形演算部111、または、赤外光波形演算部112によりユーザの脈波が取得できないと判断した場合に、車載表示装置20の姿勢を制御し、ユーザの顔領域を取得できるようにする。
例えば、車両が右ハンドル車であると判定され、可視光光源221及び赤外光光源223ともに右側のみが点灯した状態であっても、車載表示装置20が正面を向いているために、ユーザの顔に適切に光があたらず、ユーザの脈波が取得できない場合がある。このとき、駆動部132は、車載表示装置20をユーザから見て右向きに動かし、ユーザの顔の中心がディスプレイの中心に一致するように制御する。
また、ハンドル位置が決まっても、ユーザが変わったことにより、脈波取得のために微調整が必要となった場合には、判定部131から制御情報を受信し、駆動部132は、車載表示装置20の姿勢を決める角度を制御する。例えば、図37の(a)のように、座高が低いために、可視光撮像部122、または、赤外光撮像部124にユーザの顔の上部しか映らない場合、判定部131はユーザの目の位置を中心位置に制御するように、駆動部132に対し、方向と角度(例えば上方向に30度)を示す情報を送信し、駆動部132は、車載表示装置20を上方向に30度動かし、ユーザの脈波が可視光領域ならびに赤外光領域により、取得できるようにする。
図38に、本実施の形態における、判定部131による判定処理とそれに応じた可視光発光部、赤外光発光部の処理の流れを示すフローチャートを示す。
ステップS701において、判定部131は、Count信号が0から1に変化しているか判定する。Count信号が0から1に変化したと判定した場合、ステップS602に進み、そうでなければ、処理を終了する。
ステップS702において、判定部131は、ユーザにハンドル情報について質問を行う。これは、ステップS701において、Count信号が0から1に変化した場合、すなわち、初期設定状態の場合に相当する。
ステップS703において、判定部131は、ステップS702でユーザが選択したハンドル位置情報が、右ハンドルであることを示しているか否かを判定する。右ハンドルであることを示していれば、ステップS704へ進み、そうでなければ、ステップS706へ進む。
ステップS704において、判定部131は、可視光光源221を制御することで、表示画面104の右半分のみを点灯させる。
ステップS605において、判定部131は、赤外光光源223のうちの右側に配置されている赤外光LED107Bのみを点灯させ、処理を終了する。
ステップS606において、判定部131は、可視光光源221を制御することで、表示画面104の左半分のみを点灯させる。
ステップS607において、判定部131は、赤外光光源223のうちの左側に配置されている赤外光LED107Aのみを点灯させ、終了する。
以上のように、本実施の形態に係る車載表示装置20は、車両のハンドル位置を判定し、それに応じて、表示画面104が可視光を出射する領域が変化し、また、赤外光を出射する赤外光LEDが変化する。これにより、車両のハンドル位置が異なる場合であっても、車載表示装置20を設置し設定するだけで、運転手であるユーザの脈波をより正確に取得することができ、車両内における生体モニタリングが可能となる。
以上のように、本実施の形態に係る車載表示装置は、車両のハンドル位置に応じて表示画面の姿勢を変化させることで、運転席に乗車しているユーザの脈波を適切に取得することができる。
また、車載表示装置は、左右に配置された2つの赤外光光源のいずれかを用いることで、左ハンドル車又は右ハンドル車の運転席に乗車しているユーザの脈波を適切に取得することができる。
また、車載表示装置は、右ハンドル車の車両内において非接触でユーザの脈波を取得することができる。
また、車載表示装置は、左ハンドル車の車両内において非接触でユーザの脈波を取得することができる。
(実施の形態3)
本実施の形態において、上記各実施の形態における車載表示装置の必須の構成要素だけを示す。
本実施の形態において、上記各実施の形態における車載表示装置の必須の構成要素だけを示す。
図39は、本実施の形態における車載表示装置30の構成を示すブロック図である。
図39に示されるように、車載表示装置30は、表示画面104と、可視光受光部142と、赤外光受光部143と、赤外光光源144と、光源制御部145と、脈波算出部146とを備える。光源制御部145と、脈波算出部146とは、CPU101(図1参照)等により実現され得る。
可視光受光部142は、表示画面104が出射した光を受けた人から発せられる可視光を受光する。赤外光受光部143は、赤外光光源144が出射した赤外光を受けた人から発せられる赤外光を受光する。
光源制御部145は、可視光受光部142が受光した可視光の光量と、赤外光受光部143が受光した赤外光の光量とに基づいて、赤外光光源144による赤外光の出射の制御をする。脈波算出部146は、上記制御の後に赤外光受光部143が受光した赤外光の光量から人の脈波に関する脈波情報を算出し、算出した脈波情報を出力する。
これにより、車載表示装置30は、上記各実施の形態における車載表示装置10及び20と同様の効果を奏する。
なお、車載表示装置等に含まれる各構成要素は、回路でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。つまり、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。
また、各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の車載表示装置の制御方法などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、車載表示装置の制御方法であって、前記車載表示装置は、表示画面と、前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、赤外光光源と、前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、プロセッサとを備え、前記制御方法では、前記プロセッサにより、前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、算出した前記脈波情報を出力する制御方法を実行させる。
以上、一つまたは複数の態様に係る車載表示装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記実施の形態において、特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
本開示は、車両内において非接触でユーザの脈波を取得する車載表示装置などとして有用である。具体的には、カーナビゲーション装置、車両の後部座席用モニタ装置、電子ミラー装置、音楽等の再生装置に有用である。
10、20、30 車載表示装置
101 CPU
102 メインメモリ
103 ストレージ
104、141 表示画面
104A、104B、104C、104D 領域
105 可視光LED
106 可視光カメラ
107、107A、107B 赤外光LED
108 赤外光カメラ
111 可視光波形演算部
112 赤外光波形演算部
113 相関度演算部
114、145 光源制御部
115 生体情報算出部
116 運転判定部
121、221 可視光光源
122 可視光撮像部
123、223、144 赤外光光源
124 赤外光撮像部
131 判定部
132 駆動部
142 可視光受光部
143 赤外光受光部
146 脈波算出部
101 CPU
102 メインメモリ
103 ストレージ
104、141 表示画面
104A、104B、104C、104D 領域
105 可視光LED
106 可視光カメラ
107、107A、107B 赤外光LED
108 赤外光カメラ
111 可視光波形演算部
112 赤外光波形演算部
113 相関度演算部
114、145 光源制御部
115 生体情報算出部
116 運転判定部
121、221 可視光光源
122 可視光撮像部
123、223、144 赤外光光源
124 赤外光撮像部
131 判定部
132 駆動部
142 可視光受光部
143 赤外光受光部
146 脈波算出部
Claims (13)
- 表示画面と、
前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、
赤外光光源と、
前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、
プロセッサとを備え、
前記プロセッサは、
前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、
前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、
算出した前記脈波情報を出力する
車載表示装置。 - 前記プロセッサは、
前記赤外光の出射の制御において、前記可視光受光部が受光した可視光から抽出される波形に含まれる脈波成分の特徴量と、前記赤外光受光部が受光した赤外光から抽出される波形に含まれる脈波成分の特徴量との相関度を算出し、算出した前記相関度に基づいて、前記赤外光光源による赤外光の出射の前記制御をする
請求項1に記載の車載表示装置。 - 前記プロセッサは、さらに、
前記車載表示装置が搭載されている車両の運転状態に基づいて、前記赤外光光源による赤外光の出射の前記制御をする
請求項2に記載の車載表示装置。 - 前記プロセッサは、さらに、
前記人から発せられる可視光が低下するように前記表示画面を制御し、前記赤外光受光部が受光する赤外光から抽出される波形から脈波成分の特徴量が得られる状態で、前記表示画面の制御を停止する
請求項1〜3のいずれか1項に記載の車載表示装置。 - 前記プロセッサは、前記表示画面が出射する光の光量を低下させることで、前記人の目に照射される光量を所定以下にする
請求項1〜4のいずれか1項に記載の車載表示装置。 - 前記プロセッサは、前記表示画面の姿勢を変化させることで、前記人の目に照射される光量を所定以下にする
請求項1〜5のいずれか1項に記載の車載表示装置。 - 前記プロセッサは、取得した前記運転状態が、前記車両が停車している状態を示す運転状態であるときに、前記赤外光光源による赤外光の出射の前記制御をする
請求項3に記載の車載表示装置。 - 前記プロセッサは、さらに、
前記車載表示装置が配置される車両が右ハンドル車両であるか左ハンドル車両であるかを示すハンドル位置情報を受け付け、
受け付けた前記ハンドル位置情報に基づいて、前記表示画面による光の出射方向が、ハンドルを有する席を向く方向に近づくように前記表示画面を傾ける
請求項1〜7のいずれか1項に記載の車載表示装置。 - 前記車載表示装置は、2つの前記赤外光光源を備え、
2つの前記赤外光光源は、前記表示画面の正面視における水平方向において前記表示画面を挟む位置に配置されている
請求項1〜8のいずれか1項に記載の車載表示装置。 - 前記プロセッサは、さらに、
受け付けた前記ハンドル位置情報が右ハンドル車両であることを示すときには、前記表示画面の正面視における右側の略半分の領域のみを発光させる
請求項8に記載の車載表示装置。 - 前記プロセッサは、さらに、
受け付けた前記ハンドル位置情報が左ハンドル車両であることを示すときには、前記表示画面の正面視における左側の略半分の領域のみを発光させる
請求項8に記載の車載表示装置。 - 車載表示装置の制御方法であって、
前記車載表示装置は、
表示画面と、
前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、
赤外光光源と、
前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、
プロセッサとを備え、
前記制御方法では、前記プロセッサにより、
前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、
前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、
算出した前記脈波情報を出力する
制御方法。 - 請求項12に記載の車載表示装置の制御方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016174107A JP2018038553A (ja) | 2016-09-06 | 2016-09-06 | 車載表示装置、車載表示装置の制御方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016174107A JP2018038553A (ja) | 2016-09-06 | 2016-09-06 | 車載表示装置、車載表示装置の制御方法、及び、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018038553A true JP2018038553A (ja) | 2018-03-15 |
Family
ID=61623915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016174107A Pending JP2018038553A (ja) | 2016-09-06 | 2016-09-06 | 車載表示装置、車載表示装置の制御方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018038553A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019186955A1 (ja) * | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム |
US11006844B2 (en) * | 2016-08-26 | 2021-05-18 | Panasonic Intellectual Property Management Co., Ltd. | Pulse wave measuring device, pulse wave measuring method, and recording medium |
WO2024014891A1 (en) * | 2022-07-15 | 2024-01-18 | Samsung Electronics Co., Ltd. | Determining oxygen levels from images of skin |
US11940170B2 (en) * | 2014-11-07 | 2024-03-26 | Sony Corporation | Control system, control method, and storage medium |
JP7477537B2 (ja) | 2021-11-15 | 2024-05-01 | 武漢華星光電技術有限公司 | 車載表示装置 |
-
2016
- 2016-09-06 JP JP2016174107A patent/JP2018038553A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11940170B2 (en) * | 2014-11-07 | 2024-03-26 | Sony Corporation | Control system, control method, and storage medium |
US11006844B2 (en) * | 2016-08-26 | 2021-05-18 | Panasonic Intellectual Property Management Co., Ltd. | Pulse wave measuring device, pulse wave measuring method, and recording medium |
WO2019186955A1 (ja) * | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム |
JPWO2019186955A1 (ja) * | 2018-03-29 | 2020-12-17 | 日本電気株式会社 | 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム |
JP7477537B2 (ja) | 2021-11-15 | 2024-05-01 | 武漢華星光電技術有限公司 | 車載表示装置 |
WO2024014891A1 (en) * | 2022-07-15 | 2024-01-18 | Samsung Electronics Co., Ltd. | Determining oxygen levels from images of skin |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107960989B (zh) | 脉搏波计测装置以及脉搏波计测方法 | |
JP2018038553A (ja) | 車載表示装置、車載表示装置の制御方法、及び、プログラム | |
JP5923180B2 (ja) | 生体情報計測装置及びそれを用いた入力装置 | |
JP4780088B2 (ja) | 顔画像撮像装置、顔画像撮像方法、及びそのプログラム | |
JP4882766B2 (ja) | 覚醒度算出装置 | |
JP5974915B2 (ja) | 覚醒度検出装置、および覚醒度検出方法 | |
EP2338416B1 (en) | Line-of-sight direction determination device and line-of-sight direction determination method | |
EP3075304B1 (en) | Line-of-sight detection assistance device and line-of-sight detection assistance method | |
JP2008217274A (ja) | 運転者状態判定装置、及び運転支援装置 | |
JP6832506B2 (ja) | 脈波計測装置、及び、脈波計測方法 | |
EP3011894B1 (en) | Eye gaze detection apparatus and eye gaze detection method | |
JP2010083205A (ja) | 衝突警戒車両認知支援装置 | |
CN108324255A (zh) | 脉搏波计测装置、控制方法以及程序 | |
CN105193402A (zh) | 用于求取车辆的驾驶员的心率的方法 | |
JPH0796803A (ja) | 車両用インタフェース | |
TWI522257B (zh) | 車用安全系統及其運作方法 | |
CN202088896U (zh) | 基于驾驶员面部识别的机动车安全控制*** | |
JP4773080B2 (ja) | 視認力向上支援装置 | |
JP2018068431A (ja) | 脈波演算装置および脈波演算方法 | |
WO2019176492A1 (ja) | 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体 | |
JP2020162873A (ja) | 脈波検出装置、及び脈波検出プログラム | |
Guasconi et al. | A low-cost implementation of an eye tracking system for driver's gaze analysis | |
JP6135550B2 (ja) | 診断支援装置および診断支援方法 | |
JP2009031004A (ja) | 飲酒判定装置及びプログラム | |
JP2008117303A (ja) | 運転支援装置及び評価装置 |