JP2018038553A - 車載表示装置、車載表示装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】更なる改善を実現できる車載表示装置を提供する。【解決手段】車載表示装置１０は、表示画面１０４と、表示画面１０４が出射した光を受けた人から発せられる可視光を受光する可視光カメラ１０６と、赤外光ＬＥＤ１０７と、赤外光ＬＥＤ１０７が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光カメラ１０８と、ＣＰＵ１０１とを備え、ＣＰＵ１０１は、可視光カメラ１０６が受光した可視光の受光強度から抽出される波形と、赤外光カメラ１０６が受光した赤外光の受光強度から抽出される波形とに基づいて、赤外光ＬＥＤ１０７による赤外光の出射の制御をし、制御の後に赤外光カメラ１０８が受光した赤外光の受光強度から抽出される波形から人の脈波に関する脈波情報を算出し、算出した脈波情報を出力する。【選択図】図１

Description

本発明は、車載表示装置、車載表示装置の制御方法、及び、プログラムに関する。

特許文献１は、経路探索情報に基づいて車両用覚醒照明装置を制御する制御手段技術を開示している。また、特許文献２は、表示対象となる画像の輝度を下げ、その画像の輝度に基づいて表示装置におけるバックライトの光量を決定し、決定した光量からバックライトを制御する技術を開示している。

特開２００６−２７５３４号公報 特開２０１１−２４８３２５号公報

しかし、特許文献１や特許文献２に開示されている技術では、更なる改善が必要とされていた。

本開示の一態様に係る車載表示装置は、表示画面と、前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、赤外光光源と、前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、プロセッサとを備え、前記プロセッサは、前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、算出した前記脈波情報を出力する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

上記態様によれば、更なる改善を実現することができる。

図１は、実施の形態１における車載表示装置のハードウェア構成を示すブロック図である。 図２は、実施の形態１における車載表示装置の機能構成を示すブロック図である。 図３は、実施の形態１における車載表示装置の外観図である。 図４は、実施の形態１における車載表示装置の実際の使用シーンの一例を示す図である。 図５は、実施の形態１における可視光発光部における光の照射の説明図である。 図６は、実施の形態１における車載表示装置のユーザの位置調整方法についての一例を示す図である。 図７は、実施の形態１における車載表示装置のユーザの位置調整方法についての一例を示す図である。 図８は、実施の形態１における可視光発光部の発光タイミングについて説明する図である。 図９は、実施の形態１における可視光発光部のユーザへの照射方法について説明する図である。 図１０は、実施の形態１における可視光画像および赤外光画像の輝度変化の一例を示すグラフである。 図１１は、脈波タイミングの算出の一例を示すグラフである。 図１２は、時系列で取得した心拍間隔時間の例を示すグラフである。 図１３は、脈波から変曲点を抽出する方法を説明するためのグラフである。 図１４は、可視光波形において、頂点から底点までの間の傾きを演算する方法を説明するための可視光波形を示すグラフである。 図１５は、赤外光光源の光量の異なるレベルごとに、赤外光カメラで人の肌画像を取得した場合の赤外光波形を示すグラフである。 図１６は、第１心拍間隔時間と、第２心拍間隔時間とのそれぞれを時系列順のデータでプロットしたものを示すグラフである。 図１７は、心拍間隔時間が適切であるか否かの判定の具体例について説明するための図である。 図１８は、可視光波形においてピーク点の過剰取得が行われ、対応する赤外光波形においてピーク点の過剰取得が行われなかった場合の例を説明するための図である。 図１９は、変曲点を用いて相関度を算出する場合を説明するための図である。 図２０は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件に当てはまらない例を説明するための図である。 図２１は、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しないことを説明するための例を示す図である。 図２２は、脈波計測装置を用いて、可視光光源の光量を０になるまで減少させ、かつ、赤外光光源の光量を適切な光量まで増加させる最も簡単なステップの例を示す図である。 図２３は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、光源制御を待機することを説明するための図である。 図２４は、実施の形態１における運転判定部での判定方法について説明する図である。 図２５は、実施の形態１における表示画面による情報表示方法について説明する図である。 図２６は、実施の形態１における運転判定部における光源制御するための判定処理を示すフローチャートである。 図２７は、実施の形態１における光源制御部における光量調節方法の処理の流れを示すフローチャートである。 図２８は、実施の形態１における車載表示装置の処理の流れを示すフローチャートである。 図２９は、実施の形態１における脈波ピーク数の過剰度を演算する処理の流れを示すフローチャートである。 図３０は、実施の形態１における脈波特徴量の一致度を演算する処理の流れを示すフローチャートである。 図３１は、実施の形態１における光量の調整処理の詳細を示すフローチャートである。 図３２は、実施の形態２における車載表示装置の構成を示すブロック図である。 図３３は、実施の形態２における車載表示装置の外観図である。 図３４は、実施の形態２におけるハンドル位置判定部の初期状態でのユーザへの質問について説明する図である。 図３５は、実施の形態２における可視光発光部と赤外光発光部のユーザの選択による発光手段の違いについて説明する図である。 図３６は、実施の形態２における可視光発光部の発光方法について説明する図である。 図３７は、実施の形態２における駆動部の駆動方法について説明する図である。 図３８は、実施の形態２におけるドライバー判定部による判定処理の流れを示すフローチャートである。 図３９は、実施の形態３における車載表示装置の構成を示すブロック図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した技術に関し、以下の問題が生じることを見出した。

特許文献１に開示される技術は、車両内の照明装置によってユーザに向けて光を当ててユーザを覚醒させるために、その光の光量と時間とを制御するものである。この技術に用いられる照明装置の光量は、ユーザの心拍数等の生体情報を得るための脈波を取得することができる光量には設定されていないという問題がある。

また、特許文献２に開示される技術は、表示装置におけるバックライトの光量を、表示する画像に対応させて制御するものである。この技術では、脈波を取得するのに十分な光量を、ユーザに照射することができないという問題がある。

一方、車両の運転中は周囲の環境による光のノイズが大きい。また、夜間の車両の運転中にユーザの生体情報を取得するために可視光を用いると運転の支障になり得る。そこで、赤外光を用いて脈波を取得することが有用である。

しかしながら、赤外光による脈波の取得は、赤外光の微妙な大きさの変化があるだけで難しくなるので、可視光領域での脈波と対応させて、赤外光源の光量を決める必要がある。

本開示の一態様に係る車載表示装置は、表示画面と、前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、赤外光光源と、前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、プロセッサとを備え、前記プロセッサは、前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、算出した前記脈波情報を出力する。

これによれば、車載表示装置は、人の脈波を計測するのに適切な赤外光光源の光量を算出し、算出した光量の赤外線を人に照射することで人の脈波を取得する。このようにして、車載表示装置は、車両内において非接触でユーザの脈波を取得することができる。

また、例えば、前記プロセッサは、前記赤外光の出射の制御において、前記可視光受光部が受光した可視光から抽出される波形に含まれる脈波成分の特徴量と、前記赤外光受光部が受光した赤外光から抽出される波形に含まれる脈波成分の特徴量との相関度を算出し、算出した前記相関度に基づいて、前記赤外光光源による赤外光の出射の前記制御をする。

これによれば、車載表示装置は、可視光脈波と赤外光脈波との相関の大きさに基づいて、人に照射する赤外光の光量を制御する。これにより、可視光脈波と赤外光脈波とに相関がある状態を維持しながら赤外光の光量を変化させることができ、その結果、人の脈波を取得するのに適切な光量の赤外線を人に照射することができる。

また、例えば、前記プロセッサは、さらに、前記車載表示装置が搭載されている車両の運転状態に基づいて、前記赤外光光源による赤外光の出射の前記制御をする。

これによれば、車載表示装置は、車両が運転中であるか等の状態に応じて適切なときに、可視光及び赤外光を人に照射して赤外光による脈波の計測に適切な光量を決定することができる。具体的には、エンジン始動時などに人に照射すべき赤外線の光量を決定する処理を行うことができる。

また、例えば、前記プロセッサは、さらに、前記人から発せられる可視光が低下するように前記表示画面を制御し、前記赤外光受光部が受光する赤外光から抽出される波形から脈波成分の特徴量が得られる状態で、前記表示画面の制御を停止する。

これによれば、車載表示装置は、人に照射する可視光の光量を低下させながら、可視光脈波と赤外光脈波との相関を計測し、赤外光による脈波の計測に適切な光量を決定することができる。

また、例えば、前記プロセッサは、前記表示画面が出射する光の光量を低下させることで、前記人の目に照射される光量を所定以下にする。

これによれば、車載表示装置は、適切な赤外光の光量を決定する際に、人の目に可視光を照射することで人が眩しさを感じることを、光量の制御により抑制することができる。

また、例えば、前記プロセッサは、前記表示画面の姿勢を変化させることで、前記人の目に照射される光量を所定以下にする。

これによれば、車載表示装置は、適切な赤外光の光量を決定する際に、人の目に可視光を照射することで人が眩しさを感じることを、表示画面の姿勢の制御により抑制することができる。

また、例えば、前記プロセッサは、取得した前記運転状態が、前記車両が停車している状態を示す運転状態であるときに、前記赤外光光源による赤外光の出射の前記制御をする。

これによれば、車載表示装置は、車両が停止している状態において、赤外光による脈波の計測に適切な光量を決定することができる。

また、例えば、前記プロセッサは、さらに、前記車載表示装置が配置される車両が右ハンドル車両であるか左ハンドル車両であるかを示すハンドル位置情報を受け付け、受け付けた前記ハンドル位置情報に基づいて、前記表示画面による光の出射方向が、ハンドルを有する席を向く方向に近づくように前記表示画面を傾ける。

これによれば、車載表示装置は、車両のハンドル位置に応じて表示画面の姿勢を変化させることで、運転席に乗車しているユーザの脈波を適切に取得することができる。

また、例えば、前記車載表示装置は、２つの前記赤外光光源を備え、２つの前記赤外光光源は、前記表示画面の正面視における水平方向において前記表示画面を挟む位置に配置されている。

これによれば、車載表示装置は、左右に配置された２つの赤外光光源のいずれかを用いることで、左ハンドル車又は右ハンドル車の運転席に乗車しているユーザの脈波を適切に取得することができる。

また、例えば、前記プロセッサは、さらに、受け付けた前記ハンドル位置情報が右ハンドル車両であることを示すときには、前記表示画面の正面視における右側の略半分の領域のみを発光させる。

これによれば、車載表示装置は、右ハンドル車の車両内において非接触でユーザの脈波を取得することができる。

また、例えば、前記プロセッサは、さらに、受け付けた前記ハンドル位置情報が左ハンドル車両であることを示すときには、前記表示画面の正面視における左側の略半分の領域のみを発光させる。

これによれば、車載表示装置は、左ハンドル車の車両内において非接触でユーザの脈波を取得することができる。

また、本開示の一態様に係る車載表示装置の制御方法については、前記車載表示装置は、表示画面と、前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、赤外光光源と、前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、プロセッサとを備え、前記制御方法では、前記プロセッサにより、前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、算出した前記脈波情報を出力する。

これによれば、上記車載表示装置と同様の効果を奏する。

また、本開示の一態様に係るプログラムは、上記の車載表示装置の制御方法をコンピュータに実行させるためのプログラムである。

これによれば、上記車載表示装置と同様の効果を奏する。

（実施の形態１）
本実施の形態において、車両内において非接触でユーザの脈波を取得する車載表示装置等について説明する。この車載表示装置は、車両内において非接触でユーザの脈波を可視光領域で測定し、これと同時に、ユーザの脈波を赤外光領域でも測定し、測定したこれらの脈波の波形の相関に基づいて、可視光光源及び赤外光光源のそれぞれを制御する。

本実施の形態に係る車載表示装置１０について説明する。

図１は、本実施の形態における車載表示装置１０のハードウェア構成を示すブロック図である。図２は、本実施の形態における車載表示装置１０の機能構成を示すブロック図である。

図１に示されるように、車載表示装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、メインメモリ１０２と、ストレージ１０３と、表示画面１０４と、可視光カメラ１０６と、赤外光ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１０７と、赤外光カメラ１０８とを備える。

ＣＰＵ１０１は、ストレージ１０３などに記憶された制御プログラムを実行するプロセッサである。

メインメモリ１０２は、ＣＰＵ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域（主記憶装置）である。

ストレージ１０３は、制御プログラム、各種データなどを保持する不揮発性の記憶領域（補助記憶装置）である。

表示画面１０４は、複数の画素の発光により画像を表示する表示画面である。表示画面１０４は、画素を可視光で発光させるための可視光ＬＥＤ１０５を有し、可視光ＬＥＤ１０５が出射する光の強度を調整することでさまざまな色の画素を表現する。なお、可視光ＬＥＤ１０５が出射する光の強度の調整は、可視光ＬＥＤ１０５が出射する光の強度が変更されることによってもよし、可視光ＬＥＤ１０５が一定の強度の光を出射し、その光を受ける素子（例えば液晶素子）による光の透過の度合いを調整することによって行われてもよい。表示画面１０４は、例えば液晶ディスプレイであり、この場合、可視光ＬＥＤ１０５は、液晶ディスプレイのバックライトに相当する。なお、可視光ＬＥＤ１０５の代わりに、可視光を出射する他の発光素子を用いることも可能である。

可視光カメラ１０６は、可視光領域の光を撮像する撮像装置である。

赤外光ＬＥＤ１０７は、赤外線領域の光を出射するＬＥＤである。なお、赤外光ＬＥＤ１０７の代わりに赤外線を出射する他の発光素子等を用いることも可能である。

赤外光カメラ１０８は、赤外光領域の光を撮像する撮像装置である。

車載表示装置１０の後述する各構成要素は、ＣＰＵ１０１が、ストレージ１０３に格納されたプログラムをメインメモリ１０２等を用いて実行することで実現され得る。

図２に示すように、車載表示装置１０は、可視光光源１２１と、可視光撮像部１２２と、赤外光光源１２３と、赤外光撮像部１２４と、可視光波形演算部１１１と、赤外光波形演算部１１２と、相関度演算部１１３と、光源制御部１１４と、生体情報算出部１１５と、運転判定部１１６とを備える。可視光光源１２１は、表示画面１０４が備えるものである。

可視光光源１２１は、可視光ＬＥＤ１０５を用いてユーザの肌に可視光を照射する。

可視光撮像部１２２は、可視光カメラ１０６を用いて可視光領域においてユーザの肌を撮像する。可視光撮像部１２２は、可視光受光部に相当する。

赤外光光源１２３は、赤外光ＬＥＤ１０７を用いてユーザの肌に赤外光を照射する。

赤外光撮像部１２４は、赤外光カメラ１０８を用いて赤外光領域においてユーザの肌を撮像する。赤外光撮像部１２４は、赤外光受光部に相当する。

可視光波形演算部１１１は、可視光撮像部１２２が可視光で撮像した画像から脈波の波形を抽出する。

赤外光波形演算部１１２は、赤外光撮像部１２４が赤外光で撮像した画像から脈波の波形を抽出する。

相関度演算部１１３は、可視光で得られた脈波（以降、可視光脈波ともいう）の波形と、赤外光で得られた脈波（以降、赤外光脈波ともいう）の波形とを比較し、その相関度を演算する。

光源制御部１１４は、可視光撮像部１２２が受光した可視光から抽出される波形と、赤外光撮像部１２４が受光した赤外光から抽出される波形とに基づいて、赤外光光源１２３による赤外光の出射の制御をする。具体的には、光源制御部１１４は、可視光撮像部１２２が受光した可視光から抽出される波形に含まれる脈波成分の特徴量と、赤外光撮像部１２４が受光した赤外光から抽出される波形に含まれる脈波成分の特徴量との相関度を算出し、算出した相関度に基づいて、赤外光光源１２３による赤外光の出射の制御をする。

生体情報算出部１１５は、可視光脈波と赤外光脈波とからユーザの脈波を示す脈波情報を算出し、算出した脈波情報を出力する。

運転判定部１１６は、車両の運転状態（例えば、車両が運転中であるか停止中であるか等）を判定する。

上記の各機能ブロックについては、後で詳細に説明する。

図３は、本実施の形態における車載表示装置１０の外観図である。図３は、車載表示装置１０がカーナビゲーション装置として実現される場合の一例であるが、車載表示装置１０は、その他、車両の後部座席用モニタ装置、電子ミラー装置、音楽等の再生装置などであってもよい。

図３に示すように、車載表示装置１０は、筐体を有し、その筐体に図１に示す各構成要素が配置されている。

筐体の上部には、可視光カメラ１０６、赤外光ＬＥＤ１０７、及び、赤外光カメラ１０８が並んで備えられている。また、表示画面１０４が、車載表示装置１０の正面に備えられている。

一般に、ユーザである運転者の顔の位置は、使用状態において、カーナビゲーション装置の本体よりも高い位置にあることが多い。そこで、可視光カメラ１０６、赤外光ＬＥＤ１０７、及び、赤外光カメラ１０８をカーナビゲーション装置の上部に配置することで、ユーザの顔への赤外光の照射を効率的にし、また、可視光カメラ１０６及び赤外光カメラ１０８により取得する画像の解像度を上げることができる利点がある。

（表示画面１０４及び可視光光源１２１）
可視光光源１２１は、ユーザに対して可視光領域の光を照射する光源である。可視光光源１２１による光の照射量は、光源制御部１１４によって調整される。具体的には、可視光光源１２１は、４００〜８００ｎｍの波長域の光を出射する。可視光光源１２１は、例えば、図３に示すように、車両内のカーナビゲーション装置の表示画面１０４により実現される。

また、車載表示装置１０は、従来のカーナビゲーション装置と同様、車両内のダッシュボードの中心付近に設置される。このとき、図５に示すように、ダッシュボードの中心付近に設置された車載表示装置１０が、可視光光源１２１により光を照射した場合、ユーザの顔において脈波が取得しやすい頬のあたりに光が当たるという特徴を持つ。具体的には、ユーザの顔の左右のどちらか半分、例えば、車両が右ハンドル車でありユーザが運転手である場合には、ユーザの顔の左側の半分に可視光光源１２１が照射する光が当たる。一方、車両が左ハンドル車でありユーザが運転手である場合には、ユーザの顔の右側の半分に可視光光源１２１が照射する光が当たる。可視光撮像部１２２がユーザの顔を撮像する場合に、正面よりも横側からユーザの顔を撮像した方が、目や鼻等の特徴的な部位がないため、脈波が取得しやすい利点がある。

なお、可視光光源１２１の照射量の制御は光源制御部１１４によって行うと説明したが、これに限ったものではない。例えば、ユーザ自身がコントローラを用いて、光の照射量を手動で制御してもよい。また、可視光光源１２１から照射される光の方向をユーザ自身が調整してもよい。

例えば、図６に示すように、ユーザ自らの手で車載表示装置１０の表示画面１０４の姿勢を調整することによってユーザに光が当たるようにするために、車載表示装置１０の表示画面１０４の背面側にユニバーサルジョイント機構等を備えてもよい。これにより、ユーザ（運転者）の顔の位置がユーザごとに異なる場合にも、ユーザの顔の位置に光を当てることが可能になる。特に、男性のユーザと女性のユーザとでは、運転時の顔の位置が異なる場合が多い。そこで、運転者が表示画面１０４の方向を自由に調整できるようにすることで、ユーザの脈波をより正確に検出することが可能になる。

また、本実施の形態においては、カーナビゲーション装置の表示画面１０４を可視光光源として用いているが、追加的に、可視光光源をカーナビゲーション装置の表示画面１０４の隣りに設置してもよい。一般に、カーナビゲーション装置の表示画面１０４は、地図又は現在地を確認するために利用することが多い。一方で、可視光光源が出射する光は、ユーザの頬の領域に当たることが望ましい。そこで、カーナビゲーション装置の表示画面の照明の強度では不十分な場合には、可視光の光源を新たに設置してもよい。これにより、ユーザが可視光の照明の方向のみを調整できるようにすることで、カーナビゲーション装置を用いた地図等の確認のしやすさと、照明強度の調整精度の向上の両立ができる利点がある。

さらに、ユーザ自身が車載表示装置１０（表示画面１０４）の姿勢をどのように設定するのが適切かが分からない場合には、姿勢を調整するための指示情報をユーザに提示してもよい。具体的には、運転判定部１１６から光源制御部１１４に可視光の光源を制御可能とする信号を送ってから所定の時間（例えば１０秒）経過した場合に、表示画面１０４の姿勢を調整する指示情報を、表示画面１０４に表示してもよい（図７参照）。図７において、表示画面１０４の中心に、ユーザの顔の目標位置（図に示す破線の円形）を示し、ユーザがそれに合わせて、車載表示装置１０の位置又は姿勢を調整してもよい。

なお、車載表示装置１０は、車両のダッシュボードの中心付近に設置されるとしたが、これに限ったものではない。例えば、車載表示装置１０は、ユーザの正前に設置されてもよい。このとき、可視光光源１２１は、ユーザの正面から、顔半分ではなく、顔全体に光を照射してもよい。これにより、ユーザの顔のうち脈波を取得できる範囲が広くなり、より正確に可視光脈波及び赤外光脈波が取得できるようになる。例えば、昼等の車外が明るく、かつ、車載表示装置１０がダッシュボードの中心付近に設置されている場合には、主にユーザの顔の半分、言い換えれば、ユーザの顔のうちの窓とは反対側の部位のみが照らされるが、光の照射量が足りずに可視光脈波及び赤外光脈波を取得できないことがある。これに対し、車載表示装置１０がユーザの正前に設置されていれば、ユーザの顔のうち窓側の部位にも光を照射し、可視光脈波及び赤外光脈波を取得できるので、測定される脈波がより正確なものとなる利点がある。

可視光光源１２１が出射する光の光量について説明する。可視光光源１２１は、周囲が、ユーザの顔から可視光により脈波を取得するのが難しい明るさであるとき（例えば、夜間、又は、車両がトンネル内に位置しているとき）に車両のエンジンを始動した場合、又は、運転中に周囲がユーザの顔から可視光により脈波を取得するのが難しい明るさになったときに起動する。起動手段の詳細については、後述の運転判定部１１６にて説明する。

例えば、図８の（ａ）に示すように、可視光光源１２１がエンジン始動時に起動する場合は、その起動の前には、可視光光源１２１が出射する光の光量は０である。そして、可視光光源１２１は、エンジン始動と同時に光量を、車両内の照度が例えば１０００ルクスになるまで上げて、可視光波形演算部１１１が取得する可視光脈波と、赤外光波形演算部１１２が取得する赤外光脈波とが一致するように、各光源の光量を制御する。なお、可視光脈波と赤外光脈波との相関度の演算手法、及び、光源制御の具体的な手法については、後述の相関度演算部１１３と光源制御部１１４にて説明する。

また、例えば、図８の（ｂ）に示すように、運転中に周囲が暗くなり、可視光脈波を取得できなくなる場合、周囲が暗くなる前の車両内の照度は５０ルクス程度である。これは、ユーザがカーナビゲーション装置のナビゲーション機能を使用する場合の照度の一例である。この状態において、可視光波形演算部１１１が可視光脈波を取得することができなくなった場合、運転判定部１１６は、運転判定を開始する。そして、運転判定部１１６は、車両の走行が止まった時点で、光源制御部１１４に調節可能信号を送信し、可視光光源１２１は、出射する光の光量を、車両内の照度が例えば１０００ルクスになるまで上昇させる。その後、エンジン開始時と同様に、相関度演算部１１３が可視光脈波と赤外光脈波との波形を比較し、赤外光脈波が取得できるように、可視光光源１２１と赤外光光源１２３とを制御する。これにより、車両内に屋外光が入りにくいトンネル、又は、屋内駐車場においても、車載表示装置１０が脈波を検出することができるようになる。特に、車両が比較的長い時間トンネル内に位置しているとき（具体的には、距離が比較的長いトンネルを走行している時、又は、トンネルの長さに関わらず渋滞等によりトンネル内で低速走行又は停止しているとき等）においてユーザの心拍情報を検出することができるようになる。

なお、エンジン始動時に周囲環境が暗くなった時に、車両内の照度が１０００ルクスになるように可視光光源１２１を制御するとしたが、これに限ったものではない。ユーザの顔から脈波が取得できる照度であればよいので、より小さい値（例えば５００ルクス）でもよい。一方、照度が大きくなりすぎると、車両内が明るすぎる状態になり、ユーザがまぶしさを感じて事故の原因となり得る。このことを考慮すると、可視光光源１２１が照射する光による車両内の明るさは、５００ルクス〜２５００ルクス程度の範囲に収められるのがよい。また、一度脈波を取得したことがあるユーザの場合、脈波を取得したときの可視光波形演算部１１１と、光源制御部１１４による制御の下で脈波を取得した際の照度を記憶しておいて、記憶しておいたその照度になるように可視光光源１２１の発光量を設定してもよい。これにより、脈波の取得にかかる時間削減、及び、毎回の光量調節の手間の削減という利点がある。同じユーザであれば、顔表面の色の特徴等が毎回同じである可能性が高いので、一度記憶した照度でユーザの顔を照らすだけで、脈波が取得できる可能性が高いことを利用したものである。

また、可視光光源１２１は、可視光波形演算部１１１により可視光脈波が取得でき、かつ、その取得した時の脈波のピーク−ボトム間の傾きが最も大きかった時の、可視光光源１２１における光量を記録し、可視光光源１２１の光量を脈波の取得のために大きくするたびに、その光量を記録した値になるようにしてもよい。

なお、可視光光源１２１は、ユーザ自身により車載表示装置１０（表示画面１０４）の姿勢等を調整し、ユーザの顔に光が当たるようにするとしたが、これに限ったものではない。図９の（ａ）に示すように、ユーザが運転しているときに可視光光源１２１が照射する光がユーザの目に向けられると、ユーザが眩しさを感じて事故の要因となり得る。したがって、例えば、ユーザにあらかじめ車載表示装置１０の姿勢を調整する機会がある場合には、図９の（ｂ）に示すように、ユーザの頬は相対的に強い照度になり、ユーザの目の付近は相対的に弱い照度になるように設定してもよい。また、ユーザの目に照射される光量を所定以下にするように設定してもよい。この制御は、例えば、表示画面１０４が出射する光の光量を低下させること、又は、表示画面１０４の姿勢が変化する（いわゆるチルト制御）ことで実現され得る。具体的には、可視光光源１２１の照射する光束の中心を、頬の中心部分より下側に位置するように設定することで実現され得る。これにより、ユーザの運転を妨げることなく、照度の調整が可能になる。なお、ユーザがサングラスを装着することで眩しさを回避することもできる。このようにすると、顔認識処理において、サングラスの位置に基づいてユーザの頬を容易に検出することができる利点がある。

また、可視光撮像部１２２で顔認識をあらかじめ行っておき、可視光光源１２１が照射する光の強度を上げる際には、まず、頬から顎周辺に光を照射し、徐々に照射範囲を上にあげていき、目に照射する前に止めるようにしてもよい。このことは、顔認識の結果得られた目の位置の輝度が上がらないようにする、すなわち、目の位置の輝度が上がる兆候が観測された時点で光の照射を止めることで実現できる。

（可視光撮像部１２２）
可視光撮像部１２２は、可視光光源１２１により可視光が照射された照射対象を可視光領域において撮像する。可視光撮像部１２２は、具体的には、照射対象としてユーザの肌を可視光領域（例えば、カラー）で撮像することにより得られた可視光画像を車載表示装置１０の可視光波形演算部１１１に出力する。可視光撮像部１２２は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を可視光画像として出力する。肌画像は、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。可視光撮像部１２２は、例えば、可視光カメラ１０６により実現される。

（赤外光光源１２３）
赤外光光源１２３は、ユーザに対して赤外光を照射し、その照射する光量は光源制御部１１４によって調整される。赤外光光源１２３は、例えば、赤外光ＬＥＤ１０７により実現される。

（赤外光撮像部１２４）
赤外光撮像部１２４は、赤外光光源１２３により赤外光が照射された照射対象を赤外光領域において撮像する。赤外光撮像部１２４は、具体的には、照射対象としてユーザの肌を赤外光領域（例えば、モノクロ）で撮像することにより得られた赤外光画像を車載表示装置１０の赤外光波形演算部１１２に出力する。赤外光撮像部１２４は、可視光撮像部１２２で撮像する部位と同じ部位を撮像する。赤外光撮像部１２４は、例えば、人の顔または手を含む肌を撮像することにより得られた肌画像を赤外光画像として出力する。これは、赤外光撮像部１２４においても可視光撮像部１２２が撮像した部位と同じ部位を撮像することで、可視光領域と赤外光領域とにおいて、同様の脈波を取得することができ、特徴量を比較しやすいからである。

なお、同じ部位の撮像方法としては、可視光撮像部１２２と赤外光撮像部１２４とで同じ大きさの関心領域（ＲＯＩ）を設定する。そして、可視光撮像部１２２と赤外光撮像部１２４とで撮像された当該ＲＯＩ内の画像について、例えば、パターン認識を用いて比較することで、同じ部位を撮像しているか否かを判断してもよい。また、可視光撮像部１２２により得られた可視光画像と、赤外光撮像部１２４により得られた赤外光画像とのそれぞれにおいて顔認識を行い、目、鼻、口などにおける特徴点の座標と大きさを取得し、目、鼻、口などの大きさの比を考慮して、目、鼻、口などの特徴点からの座標（相対的な位置）を演算することで同じ部位を特定してもよい。

赤外光撮像部１２４により得られる肌画像は、可視光撮像部１２２により得られる肌画像と同様に、人の顔または手を含む肌のうちの同一の箇所を時間的に連続する複数のタイミングで撮像された画像であり、例えば、動画または複数枚の静止画で構成される。赤外光撮像部１２４は、例えば、赤外光カメラ１０８により実現される。

（可視光波形演算部１１１）
可視光波形演算部１１１は、可視光撮像部１２２から可視光画像を取得し、取得した可視光画像からユーザの可視光脈波を示す波形である可視光波形を抽出する。可視光波形演算部１１１は、抽出した可視光波形における所定の特徴点である第１特徴点を複数抽出してもよい。所定の特徴点は、例えば、ユーザの脈波の１周期分の波形における頂点または底点であるピーク点である。

可視光波形演算部１１１は、可視光波形の特徴点として、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、可視光波形演算部１１１は、抽出した複数の第１特徴点のそれぞれについて、当該第１特徴点に隣接する他の第１特徴点との間の時間を第１心拍間隔時間として算出する。

具体的には、可視光波形演算部１１１は、撮像されたタイミングがそれぞれ対応づけられた複数の可視光画像から抽出される輝度の時間変化に基づいて、可視光波形を抽出する。つまり、可視光撮像部１２２から取得される複数の可視光画像のそれぞれは、可視光撮像部１２２において当該可視光画像が撮像された時刻（ｔｉｍｅ ｐｏｉｎｔ）と対応づけられている。可視光波形演算部１１１は、可視光波形の所定の特徴点の間隔を取得することで、ユーザの脈波のタイミング（以下、脈波タイミングともいう）を取得する。そして、可視光波形演算部１１１は、得られた複数の脈波タイミングのそれぞれについて、当該脈波タイミングと一つ後の脈波タイミングとの間隔を心拍間隔時間として算出する。

例えば、可視光波形演算部１１１は、抽出した可視光波形を用いて、最も輝度の変化の大きいタイミングを特定し、特定したタイミングを脈波タイミングとして特定する。または、可視光波形演算部１１１は、予め保持している顔または手のパターンを用いて、複数の可視光画像における顔または手の位置を特定し、特定した位置の輝度の時間的な変化を用いて可視光波形を特定する。可視光波形演算部１１１は、特定した可視光波形を用いて、脈波タイミングを算出する。ここで、脈波タイミングとは、輝度の時間波形、すなわち脈波の時間波形における所定の特徴点における時刻である。所定の特徴点は、例えば、輝度の時間波形におけるピーク位置（頂点の時刻）である。ピーク位置は、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。可視光波形演算部１１１は、例えば、ＣＰＵ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。

一般に、脈波は、心臓の拍動に伴い末梢血管系内の血圧または体積の変化である。つまり、脈波は、心臓が収縮することにより、心臓から血液が送り出され、顔または手などに到達したとき血管の体積の変化である。このように、顔または手などにおける血管の体積が変化すると、血管を通過する血液の量が変化することとなり、ヘモグロビンなどの血液中の成分の量に依存して肌の色が変化する。このため、撮像した画像における顔または手の輝度は、脈波に応じて変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、可視光波形演算部１１１は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。

可視光領域における脈波タイミングの取得では、可視光画像中の緑色の波長域の輝度が撮像された画像が用いられることが望ましい。可視光領域において撮像された画像において、緑色近辺の波長域の輝度に、脈波による変化が大きく現れるためである。複数の画素を含む可視光画像において、多くの血液が流入している状態の顔または手に相当する画素の緑色の波長域における輝度は、少ない血液が流入している状態の顔または手に相当する画素の緑色の波長域の輝度と比べて小さい。

図１０の（ａ）は、本実施の形態における可視光画像の輝度変化、特に緑色における輝度変化の一例を示すグラフである。具体的には、図１０の（ａ）は、可視光撮像部１２２によって撮像された可視光画像におけるユーザの頬の領域の緑色成分（Ｇ）の輝度変化を示す。図１０の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は緑色成分（Ｇ）の輝度を示す。図１０の（ａ）に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。

日常環境下、すなわち可視光領域で肌が撮像される場合、照明による散乱光または様々な要因によって、可視光画像はノイズを含む。よって、可視光波形演算部１１１は、可視光撮像部１２２から取得した可視光画像にフィルタ等による信号処理を施し、脈波に起因する肌の輝度変化を多く含む可視光画像を得ることが望ましい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、可視光波形演算部１１１は、本実施の形態では、ローパスフィルタを通した緑色成分（Ｇ）の輝度変化を用いて、可視光波形の抽出処理を行う。

図１０の（ａ）は、本実施の形態における脈波タイミングの算出の一例を示すグラフである。図１０の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図１０の（ａ）のグラフの時間波形おいて、時刻ｔ１〜ｔ５のそれぞれの点は、変曲点または頂点である。当該グラフの時間波形における各点は、特徴点としての、変曲点と、ピーク点（頂点および底点）とを含む。なお、頂点とは、時間波形において上に凸の極大値における点であり、底点とは、時間波形において下に凸の極小値における点である。時間波形に含まれる上記の各点において、前後の時刻の点のいずれよりも輝度が大きい点（頂点）における時刻、または、前後の時刻の点のいずれよりも輝度が小さい点（底点）の時刻が脈波タイミングである。

図１１の（ａ）に示すグラフの輝度時間波形を用いて、頂点の位置を特定する方法、つまりピーク探索の方法を説明する。可視光波形演算部１１１は、当該輝度の時間波形において、現在の参照点を時刻ｔ２の点とする。可視光波形演算部１１１は、時刻ｔ２の点と、一つ前の時刻ｔ１の点とを比較し、かつ、時刻ｔ２の点と、一つ後の時刻ｔ３の点とを比較する。可視光波形演算部１１１は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点のそれぞれの輝度よりも大きい場合、正と判定する。つまり、この場合、可視光波形演算部１１１は、参照点がピーク点（頂点）であって、その参照点の時刻が脈波タイミングであると判定する。

一方で、可視光波形演算部１１１は、参照点の輝度が、一つ前の時刻の点および一つ後の時刻の点の少なくとも一方の輝度よりも小さい場合、否と判定する。つまり、この場合、可視光波形演算部１１１は、参照点がピーク点（頂点）ではなく、その参照点の時刻が脈波タイミングではないと判定する。

図１１の（ａ）において、時刻ｔ２の点の輝度は時刻ｔ１の点の輝度より大きいが、時刻ｔ２の点の輝度は時刻ｔ３の点の輝度よりは小さいため、可視光波形演算部１１１は、時刻ｔ２の点を否と判定する。次に、可視光波形演算部１１１は、参照点を一つインクリメントし、次の時刻ｔ３の点を参照点とする。時刻ｔ３の点の輝度は、時刻ｔ３の一つ前の時刻ｔ２の点および時刻ｔ３の一つ後の時刻ｔ４の点のそれぞれの輝度より大きいため、可視光波形演算部１１１は、時刻ｔ３の点を正と判定する。可視光波形演算部１１１は、正と判定した点の時刻を脈波タイミングとして相関度演算部１１３に出力する。これにより、図１１の（ｂ）に示すように、白丸印の時刻が脈波タイミングとして特定される。

また、可視光波形演算部１１１は、脈波タイミングの特定において、一般的な心拍数（例えば６０ｂｐｍから１８０ｂｐｍ）の知識に基づき、心拍間隔時間が例えば３３３ｍｓから１０００ｍｓまでの間であることを考慮して脈波タイミングを特定してもよい。可視光波形演算部１１１は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点においてのみ輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから３３３ｍｓ以降１０００ｍｓ以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。したがって、日常環境時にロバストな脈波タイミングの取得が可能となる。

可視光波形演算部１１１は、さらに、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。心拍間隔時間は、時系列で変動する。このため、同一の期間において取得した赤外光波形から特定した脈波の心拍間隔時間と比較することで、可視光波形と赤外光波形の所定の特徴点における相関度の演算に利用することができる。

図１２は、時系列で取得した心拍間隔時間の例を示すグラフである。図１２のグラフにおいて、横軸は時系列に取得した心拍間隔時間に対応付けられたデータナンバーを示し、縦軸は心拍間隔時間を示す。図１２に示すように、心拍間隔時間は、時刻によって変動しているのがわかる。なお、データナンバーとは、データ（ここでは心拍間隔時間）がメモリに記憶された順番を示す。つまり、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。

可視光波形演算部１１１は、さらに、可視光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。具体的には、可視光波形演算部１１１は、可視光波形の輝度値の一次微分を算出することで可視光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻（以下、変曲点タイミングと言う）を算出する。つまり、可視光波形演算部１１１は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。

また、可視光波形演算部１１１は、変曲点タイミングの算出においても、一般的な心拍数の知識に基づき、心拍間隔時間が例えば、３３３ｍｓから１０００ｍｓまでの間であることを考慮して変曲点タイミングを算出してもよい。これにより、可視光波形にまったく心拍とは関係のない変曲点が含まれていたとしても、当該変曲点を特定することがないため、より正確に変曲点タイミングを算出することができる。

図１３は、脈波から変曲点を抽出する方法を説明するためのグラフである。具体的には、図１３の（ａ）は、可視光画像から得られた可視光波形を示すグラフであり、図１３の（ｂ）は、図１３の（ａ）の一次微分値をプロットしたグラフである。図１３の（ａ）では、丸印がピーク点のうちの頂点を表し、Ｘ印が変曲点を表す。図１３の（ｂ）では、丸印が図１３の（ａ）における頂点に対応する点を示し、Ｘ印が図１３の（ａ）における変曲点に対応する点を示す。図１３の（ａ）のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示す。また、図１３の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は、輝度値の微分係数を示す。

可視光波形の抽出では、前述のように特に緑色の光が撮像された可視光画像を用いる。この可視光波形の抽出の原理を説明する。脈波に応じて顔または手などの血管中の血液量が増減した場合、血中のヘモグロビンの量が血液量に応じて増減する。つまり、血管中の血液量の増減に応じて、緑色の波長域の光を吸収するヘモグロビンの量が増減する。このため、可視光撮像部１２２において撮像された可視光画像では、血液量の増減に応じて、血管付近の肌の色が変化することになり、可視光の特に緑色成分の輝度値が変動する。具体的には、ヘモグロビンが緑色の光を吸収するため、可視光画像における輝度値は、ヘモグロビンに吸収された分だけ減少する。

さらに、可視光波形は、底点から頂点までの勾配よりも、頂点から次の底点までの勾配の方が急であるという特徴を持つ。したがって、底点から頂点までの間では、比較的ノイズの影響を受けやすい。一方で、頂点から次の底点までの間では、勾配が急なため、ノイズの影響を受けにくい。このため、頂点から底点までの間に存在する変曲点タイミングもまた、ノイズの影響を受けにくく、比較的安定して取得しやすいという特徴をもつ。以上のことから、可視光波形演算部１１１は、頂点から底点までに存在する変曲点間の時間差を、心拍間隔時間として算出してもよい。

また、前述した可視光波形のピーク点は、変曲点の直前において微分係数が０になる部分である。具体的には、図１３の（ｂ）に示すように、変曲点であるＸ印の直前の微分係数が０となる点の時刻が図１３の（ａ）の頂点を示す丸印の時刻となっているのがわかる。この特徴を用いて、可視光波形演算部１１１は、可視光波形から取得する頂点を変曲点の直前の頂点だけに限定してもよい。

可視光波形演算部１１１は、さらに、可視光波形の頂点から底点までの傾きを算出する。つまり、可視光波形演算部１１１は、可視光波形において、心拍間隔時間で定義されるユーザの脈波の１周期分の波形における頂点から底点までの傾きを算出する。傾きはできるだけ大きい方がいい。これは、傾きが大きければ大きいほど、より可視光波形における頂点の尖度が大きくなり、フィルタ処理等による脈波タイミングの時間ずれが、小さくなるからである。

図１４は、可視光波形において、頂点から底点までの間の傾きを演算する方法を説明するための可視光波形を示すグラフである。図１４のグラフにおいて、横軸は時間を示し、縦軸は輝度値を示し、丸印は頂点を示し、三角印は底点を示す。可視光波形演算部１１１では、頂点（丸印）とその次にある底点（三角印）とを直線で結び、その直線の傾きを算出する。ここで算出した傾きは、可視光光源１２１における光源が発する光の光量、可視光撮像部１２２で取得するユーザの肌の部位などに応じて異なる。したがって、脈波がクリアに取得できる、例えば、心拍間隔時間が３３３ｍｓから１０００ｍｓまでの間で取得し続けられるように、可視光光源１２１の光量、可視光撮像部１２２におけるユーザの部位に対応するＲＯＩをそれぞれ設定し、傾き情報を記録し、赤外光の脈波における傾き情報と比較することができる。また、可視光波形演算部１１１は、初期状態、すなわち、可視光光源１２１がＯＮになってから、光源制御部１１４によって、可視光光源１２１の可視光の光量または赤外光光源１２３の赤外光の光量を変化させるまでの状態における、可視光波形における頂点から底点までの間の傾きを第１の傾きＡとしてメモリ（例えばストレージ１０３）に記録する。車載表示装置１０は、可視光波形と赤外光波形との間の特徴点を比較しながら、徐々に可視光光源１２１の光量を０にしていき、赤外光光源１２３の光量を増加させていくことを特徴としている。このように、可視光の光量を徐々に減少させるため、可視光波形の頂点から底点までの傾きが最も大きくなるのは、初期状態である。

（赤外光波形演算部１１２）
赤外光波形演算部１１２は、赤外光撮像部１２４から赤外光画像を取得し、取得した赤外光画像からユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部１１２は、抽出した赤外光波形における所定の特徴点である第２特徴点を複数抽出してもよい。所定の特徴点は、例えば、ユーザの脈波の１周期分の波形における頂点または底点であるピーク点である。

赤外光波形演算部１１２は、赤外光波形の特徴点として、可視光波形演算部１１１と同様に、脈波のタイミングを取得し、隣り合う脈波のタイミングから心拍間隔時間を演算する。つまり、赤外光波形演算部１１２は、抽出した複数の第２特徴点のそれぞれについて、当該第２特徴点に隣接する他の第２特徴点との間の時間を第２心拍間隔時間として算出する。具体的には、赤外光波形演算部１１２は、複数の赤外光画像から抽出される輝度の時間変化に基づいて、赤外光波形を抽出する。つまり、赤外光撮像部１２４から取得される複数の赤外光画像のそれぞれは、赤外光撮像部１２４において当該赤外光画像が撮像された時刻（ｔｉｍｅ ｐｏｉｎｔ）と対応付けられている。赤外光波形演算部１１２は、赤外光波形の所定の特徴点の間隔を取得することで、ユーザの脈波タイミングを取得する。そして、赤外光波形演算部１１２は、得られた複数の脈波タイミングのそれぞれについて、当該脈波タイミングと一つ後の脈波タイミングとの間隔を心拍間隔時間として算出する。

ここで、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、赤外光波形の所定の特徴点としてのピーク位置を、例えば、山登り法、自己相関法、および微分関数を用いた方法を含む公知の局所探索法を用いて、特定できる。また、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、例えば、ＣＰＵ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。

一般に、赤外光画像では、可視光画像と同様に、ヘモグロビンなどの血液中の成分の量に依存して、画像における肌領域、例えば、顔または手の輝度が変化する。つまり、顔または手を複数のタイミングで撮像した画像から得られる顔または手の輝度の時間変化を用いれば、血液の移動に関する情報を取得できる。このように、赤外光波形演算部１１２は、時系列で撮像した複数の画像から血液の移動に関する情報を演算することで、脈波タイミングを取得する。

赤外光領域における脈波タイミングの取得では、赤外光画像中の８００ｎｍ以上の波長域の輝度が撮像された画像が用いられることが望ましい。赤外光領域において撮像された画像において、８００〜９５０ｎｍ近辺の波長域の輝度に、脈波による変化が大きく現れるためである。

図１０の（ｂ）は、本実施の形態における赤外光画像の輝度変化の一例を示すグラフである。具体的には、図１０の（ｂ）は、赤外光撮像部１２４によって撮像された赤外光画像におけるユーザの頬の領域の輝度変化を示す。図１０の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。図１０の（ｂ）に示す輝度変化は、脈波に起因して輝度が周期的に変化していることがわかる。

しかし、赤外光領域で肌を撮像する場合、可視光領域で肌を撮像する場合に比べ、ヘモグロビンによる赤外光の吸収量が少ない。つまり、体動等の様々な要因によって、赤外光領域で撮像された赤外光画像はノイズを含みやすい。よって、撮像された赤外光画像にフィルタ等による信号処理を施し、適切な光量の赤外光をユーザの肌領域に照射することで、脈波に起因する肌の輝度変化を多く含む赤外光画像を得ることが望ましい。信号処理に用いるフィルタの例は、ローパスフィルタである。つまり、赤外光波形演算部１１２は、本実施の形態では、ρバスフィルタを通した赤外光の輝度変化を用いて、赤外光波形の抽出処理を行う。なお、赤外光光源１２３による赤外光の光量の決定方法については、相関度演算部１１３または、光源制御部１１４において記述する。

次に、赤外光波形演算部１１２における、ピーク探索の方法について説明する。赤外光波形におけるピーク探索は、可視光波形におけるピーク探索と同様の方法を利用できる。

赤外光波形演算部１１２は、脈波タイミングの特定において、可視光波形演算部１１１と同様に、一般的な心拍数（例えば６０ｂｐｍから１８０ｂｐｍ）の知識に基づき、心拍間隔時間が例えば３３３ｍｓから１０００ｍｓまでの間であることを考慮して脈波タイミングを特定してもよい。赤外光波形演算部１１２は、一般的な心拍間隔時間を考慮することにより、全ての点において上述の輝度の比較を行う必要がなく、一部の点においてのみ輝度の比較を行えば、適切な脈波タイミングを特定できる。つまり、最近に取得された脈波タイミングから３３３ｍｓ以降１０００ｍｓ以前の範囲にある各点を参照点として用いて上述の輝度の比較を行えばよい。この場合、その範囲以前の点を参照点として用いた輝度の比較を行うことなく、次の脈波タイミングを特定できる。

赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、得られた隣り合う脈波タイミングの時間差を算出することで心拍間隔時間を算出する。また、赤外光波形演算部１１２は、さらに、赤外光波形において、脈波タイミング直後の変曲点の時刻を抽出してもよい。具体的には、赤外光波形演算部１１２は、赤外光波形の輝度値の一次微分を算出することで赤外光微分輝度の極小点を取得し、その極小点となる時刻を変曲点の時刻（変曲点タイミング）を算出する。つまり、赤外光波形演算部１１２は、所定の特徴点として、頂点から底点までの間の変曲点を複数抽出してもよい。

また、赤外光波形演算部１１２は、可視光波形演算部１１１と同様に、赤外光波形の頂点から底点までの傾きについての演算を行う。

以上のように、赤外光波形演算部１１２は、可視光波形演算部１１１と同様の処理を行うことで、所定の特徴点を第２特徴点として複数抽出する。しかし、赤外光波形は、可視光波形と比較すると、光源から出る赤外光の光量によって、大きく変化する。つまり、赤外光波形は、可視光波形よりも光源の光量の影響を受けやすい。

図１５は、赤外光光源の光量の異なるレベルごとに、赤外光カメラで人の肌画像を取得した場合の赤外光波形を示すグラフである。図１５では、（ａ）から（ｄ）まで、順に赤外光光源における光量のレベルを増加させている。すなわち、光源レベルは、光源レベル１が最も光量が少なく、光源レベルが増加する毎に光量が多くなり、光源レベル４が最も光量が多いことを示している。なお、光源レベルは、レベルが１増加するごとに光源の制御電圧が約０．５Ｖ増加することを示す。また、図１５の各グラフにおける丸印は、脈波のピーク位置（頂点）を示している。図１５の（ａ）のように、光源における光量が少ないと、赤外光光源からの赤外光よりもノイズが多くなり、脈波タイミングの特定が難しい。一方で、図１５の（ｃ）や（ｄ）のように、光源における光量が多いと、脈波に応じた肌の輝度の変化が光源の光量に埋もれてしまい、脈波の形が小さくなり、脈波タイミングの特定が難しい。

ところで、可視光を照射し可視光領域で撮像した画像を用いて脈波を取得する場合、ユーザの目にとって強すぎない光量で可視光を照射しても、その照射量で十分に脈波を取得できる。しかしながら、赤外光を照射し赤外光領域で撮像した画像を用いて脈波を取得する場合、赤外光の光量を制御しても、上述したように、ノイズを含んだり赤外光の光量が多くなりすぎたりする。このため、かなり絞られた光量の範囲内でしか、脈波の取得は難しい。また、赤外光光源の光量だけ所定の値に予め決めていても、取得する肌の部位や、ユーザの肌質、肌の色等によっても変化するため、予め適切な光量を決めておくことは難しい。したがって、次に述べる相関度演算部１１３によって、可視光波形と赤外光波形とが一致するように、可視光の光量を絞りながら、赤外光の光量を適切な値になる制御を行う必要がある。

（相関度演算部１１３）
相関度演算部１１３は、可視光波形演算部１１１から得られた可視光波形と、赤外光波形演算部１１２から得られた赤外光波形との間の相関度を演算する。そして、相関度演算部１１３は、算出した相関度に応じて、可視光光源１２１および赤外光光源１２３における各光量を調整する指令を決定し、決定した指令を光源制御部１１４に送る。

相関度演算部１１３は、特徴量として、可視光波形から算出した複数の第１心拍間隔時間と、赤外光波形から算出した複数の第２心拍間隔時間とを、可視光波形演算部１１１および赤外光波形演算部１１２からそれぞれ取得する。そして、相関度演算部１１３は、時系列において互いに対応する、複数の第１心拍間隔時間と、複数の第２心拍間隔時間との間の相関度を演算する。

図１６は、第１心拍間隔時間と、第２心拍間隔時間とのそれぞれを時系列順のデータでプロットしたものを示すグラフである。図１６のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。なお、ここで、データナンバーとは、各心拍間隔時間のデータが記録されたメモリに記憶された順番を示す。つまり、第１心拍間隔時間において、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。また、第２心拍間隔時間において、ｎ番目（ｎは自然数）に記録された心拍間隔時間に対応するデータナンバーは「ｎ」となる。さらに、第１心拍間隔時間と第２心拍間隔時間とは、同一のタイミングにおける脈波が計測された結果であるので、原則として計測誤差がない限り、データナンバーが同一であればほぼ同じタイミングにおける脈波を計測した結果といえる。つまり、複数の第１心拍間隔時間および複数の第２心拍間隔時間とは、時系列で互いに対応する１組の第１心拍間隔時間および第２心拍間隔時間とを含む。

相関度演算部１１３は、相関法を用いて、複数の第１心拍間隔時間および複数の第２心拍間隔時間の相関度の演算を行う。相関度演算部１１３は、例えば、相関度としての相関係数が第２の閾値、例えば、０．８以上であれば、複数の第１心拍間隔時間と、複数の第２心拍間隔時間がほぼ一致しているとして判断し、光源制御部１１４に、ほぼ一致していることを示す信号として、例えば、「ＴＲＵＥ」の信号を送信する。一方で、相関度演算部１１３は、相関係数が第２の閾値、例えば、０．８よりも小さい値であれば、複数の第１心拍間隔時間と、複数の第２心拍間隔時間とが一致していないと判断し、光源制御部１１４に、一致していないことを示す信号として、例えば、「ＦＡＬＳＥ」の信号を送信する。

また、相関度演算部１１３は、第１心拍間隔時間および第２心拍間隔時間の相関度だけでなく、各心拍間隔時間が適切であるかを判定し、判定結果を光源制御部１１４に送信してもよい。相関度演算部１１３は、具体的には、複数の第１心拍間隔時間および複数の第２心拍間隔時間のうちで、時系列で互いに対応する第１心拍間隔時間および第２心拍間隔時間との間の絶対誤差が第３の閾値（例えば２００ｍｓ）を超えているか否かを判定する。相関度演算部１１３は、例えば、データナンバーが同一の第１心拍間隔時間および第２心拍間隔時間の絶対誤差を算出し、当該絶対誤差が第３の閾値を超えているか否かを判定する。そして、相関度演算部１１３は、例えば、当該絶対誤差が第３の閾値を超えると判定した場合、可視光波形および赤外光波形のうちのいずれかのピーク点の数が過剰であると判定する。そして、相関度演算部１１３は、ピーク点の数が過剰である方の波形（可視光波形または赤外光波形）を光源制御部１１４に送信する。なお、絶対誤差の演算は下記の式１により得られる。

ｅ＝ＲＲＩ_ＲＧＢ−ＲＲＩ_ＩＲ・・・（式１）

式１において、ｅは、対応する第１心拍間隔時間および第２心拍間隔時間との絶対誤差を示し、ＲＲＩ_ＲＧＢは第１心拍間隔時間を示し、ＲＲＩ_ＩＲは第２心拍間隔時間を示す。

また、相関度演算部１１３は、ｅが（−１）×第３の閾値（例えば、−２００ｍｓ）より小さければ、可視光におけるピーク点の数が過剰であると判定し、ｅが第３の閾値（例えば、２００ｍｓ）より大きければ、赤外光におけるピーク点の数が過剰であると判定する。そして、相関度演算部１１３は、判定結果として、ピーク点の数が過剰である方の波形が可視光波形か赤外光波形かを示す情報を、光源制御部１１４に送信する。このように、２つの波形の対応する心拍間隔時間のずれから、どちらか波形においてピーク点を過剰に取得しいている、もしくは、ピーク点の取得に失敗していることを特定できる。

相関度演算部１１３は、例えば、対応する第１心拍間隔時間および第２心拍間隔時間の絶対誤差が第３の閾値を超えており、かつ、可視光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部１１４に当該判定の結果を示す「Ｆａｌｓｅ，ＲＧＢ」の信号を送信する。なお、相関度演算部１１３は、絶対誤差が第３の閾値を超えており、かつ、赤外光波形において、ピーク点が過剰に取得されていると判定した場合、光源制御部１１４に当該判定の結果を示す「Ｆａｌｓｅ，ＩＲ」の信号を送信する。

図１７は、心拍間隔時間が適切であるか否かの判定の具体例について説明するための図である。図１７の（ａ）は、取得された複数の心拍間隔時間が適切でない場合を示すグラフである。図１７の（ｂ）は、図１７の（ａ）に対応した、可視光波形または赤外光波形の一例を示すグラフである。図１７の（ａ）のグラフにおいて、横軸は時系列におけるデータナンバーを示し、縦軸は各データナンバーに対応する心拍間隔時間を示す。図１７の（ｂ）のグラフにおいて、横軸は時間を示し、縦軸は画像における輝度を示す。

図１７の（ａ）において、点線で囲んだ二点の心拍間隔時間が適切でない部分である。心拍間隔時間は、一般的にゆらぎながら変動するが、急激に値が変動することはほぼない。例えば、図１７の（ａ）に示すように点線で囲んだ部分以外の領域では、平均値が約９５０ｍｓであり、その標準偏差は約５０ｍｓである。しかし、点線で囲まれた２点の心拍間隔時間は、約６００〜７００ｍｓと急激に値が変化している。これは、図１７の（ｂ）における破線が引かれた部分がピーク点として取得されていることが原因で起こる。すなわち、可視光波形演算部１１１または赤外光波形演算部１１２においてピーク点が過剰に取得されたことによって起こる。

可視光波形演算部１１１または赤外光波形演算部１１２のどちらかのみにおいて、図１７に示したような結果が得られた場合、複数の第１心拍間隔時間および複数の第２心拍間隔時間のデータ数を比較すると、データ数が一致しなくなる。

図１８にその様子を示す。図１８は、可視光波形においてピーク点の過剰取得が行われ、対応する赤外光波形においてピーク点の過剰取得が行われなかった場合の例を説明するための図である。

複数の第１または第２心拍間隔時間のデータは、例えば、（データＮｏ、心拍間隔時間）という形式でストレージ１０３に格納する。可視光波形において取得される複数の第１心拍間隔時間を示すデータは、例えば、（ｘ、ｔ２０−ｔ１１）、（ｘ＋１、ｔ１２−ｔ２０）、（ｘ＋２、ｔ１３−ｔ１２）となる。また、赤外光波形において取得される複数の第２心拍間隔時間を示すデータは、例えば、（ｘ、ｔ１２−ｔ１１）、（ｘ＋１、ｔ１３−ｔ１２）となる。これにより、可視光波形および赤外光波形のそれぞれにおいて取得されたデータを比較すると、同じ時間区間ｔ１１〜ｔ１３の間で取得されたデータであるのに、データ数がずれてしまっている。これにより、その後の第１心拍間隔時間および第２心拍間隔時間の間のデータの対応関係が全てずれ、心拍間隔時間の時間変動の相関度がずれることになる。

したがって、相関度演算部１１３は、可視光波形演算部１１１と赤外光波形演算部１１２とで得られた、第１または第２心拍間隔時間の各データナンバーにおける心拍間隔時間の絶対誤差が、第３の閾値、例えば、２００ｍｓ以上であるとき、ピーク点の数が多い方の脈波ピークを一つ削除する。そして、相関度演算部１１３は、削除したピークに対応するデータナンバーから以降のデータナンバー一つ分ずつ減らす処理を行う。

つまり、相関度演算部１１３は、上記のように、ピーク点（つまり、所定の特徴点）が過剰に取得されていると判定した場合、所定の特徴点が多い方の波形（可視光波形または赤外光波形）における心拍間隔時間の演算の基準となった所定の特徴点を当該心拍間隔時間の演算対象から除外してもよい。つまり、相関度演算部１１３は、ｅが（−１）×第３の閾値より小さければ、当該ｅを算出するのに用いたＲＲＩ_ＲＧＢの演算の基準となったピーク点を第１心拍間隔時間の演算対象から除外する。相関度演算部１１３は、ｅが第３の閾値より大きければ、当該ｅを算出するのに用いたＲＲＩ_ＩＲの演算の基準となったピーク点を第２心拍間隔時間の演算対象から除外する。

また、ピーク点の過剰取得は、取得した波形（可視光波形または赤外光波形）においてノイズが多いことにより起きる。このため、過剰取得した方の波形が可視光波形であるか、赤外光波形であるかを把握し、例えば、上述したように「ＦＡＬＳＥ，ＲＧＢ」というような信号を生成し、生成した信号を光源制御部１１４に送信する。つまり、光源制御部１１４は、「ＦＡＬＳＥ，ＲＧＢ」の信号を受信すれば、可視光波形と赤外光波形との間の心拍間隔時間が一致していないこと、および、一致していない原因は可視光波形であることを把握できる。このように、可視光波形と赤外光波形とのピーク点の取得におけるデータずれを把握でき、把握した結果を示す情報を光源制御部１１４に送信できるため、可視光波形および赤外光波形におけるユーザの脈波をより正確に取得することが可能になる。

なお、相関度演算部１１３では、第１心拍間隔時間と第２心拍間隔時間との相関度の判定において、第２の閾値を０．８として判定したが、これに限るものではない。具体的には、ユーザが計測したい生体情報の正確性に応じて、第２の閾値を変えてもよい。例えば、ユーザが睡眠時における赤外光での脈波抽出を厳密に行うことで、睡眠中の生体情報、例えば、心拍や血圧等の情報をより正確に取得したい場合、判定基準とする第２の閾値を大きくし、例えば０．９等の値にしてもよい。

また、基準としている相関係数の第２の閾値を調整した場合、調整した第２の閾値に応じて、表示画面１０４に、取得データの信頼度として表示してもよい。例えば、可視光波形と赤外光波形との間での特徴量がなかなか一致せず、睡眠時等に、可視光の光源からの光量を低減できない場合、基準となる相関係数の第２の閾値を、例えば、０．６等の０．８よりも小さい値に変更してもよい。その際、相関度に関する正確性は、小さくなるので、提示装置４０に信頼度が小さくなったことを表示してもよい。

相関度演算部１１３は、可視光波形および赤外光波形から時系列で取得した第１および第２心拍間隔時間の相関係数が第２の閾値より小さい場合、または、可視光波形演算部１１１および赤外光波形演算部１１２において、第１所定期間のピーク点を過剰取得した場合、可視光波形および赤外光波形のそれぞれの変曲点を用いて、可視光波形と赤外光波形との相関度を判定してもよい。具体的には、前述したように、可視光波形および赤外光波形における第１および第２心拍間隔時間の相関係数が、第２の閾値、例えば、０．８より小さい場合、または、可視光波形演算部１１１および赤外光波形演算部１１２で取得したピーク点の数が、第１所定区間（例えば、５秒間）において一致せず、少なくとも一方の波形におけるピーク点の数が第１の閾値（例えば、１０個）を超えていた場合、可視光波形と赤外光波形との両方の波形における変曲点を使用し、各波形において変曲点間の時間間隔情報の相関度を判定してもよい。

つまり、相関度演算部１１３は、可視光波形または赤外光波形のうちのピーク点の数が第１所定期間において、第１の閾値を超えるか否かを判定する。相関度演算部１１３は、当該ピーク点の数が第１所定期間において第１の閾値を超えると判定した場合、次の処理を行ってもよい。つまり、相関度演算部１１３は、可視光波形演算部１１１に、可視光波形における頂点から底点までの間の変曲点を第１特徴点として複数抽出させる。また、相関度演算部１１３は、赤外光波形演算部１１２に、赤外光波形における頂点から底点までの間の変曲点を第２特徴点として複数抽出させる。また、相関度演算部１１３は、可視光波形演算部１１１に、抽出した複数の第１特徴点のそれぞれについて、当該第１特徴点に隣接する他の第１特徴点との間の時間を第１心拍間隔時間として算出させる。また、相関度演算部１１３は、赤外光波形演算部１１２に、抽出した複数の第２特徴点のそれぞれについて、当該第２特徴点に隣接する他の第２特徴点との間の時間を第２心拍間隔時間として算出させる。そして、相関度演算部１１３は、時系列において互いに対応する、複数の第１心拍間隔時間と、複数の第２心拍間隔時間との間の相関度を、相関度として演算する。

図１９は、変曲点を用いて相関度を算出する場合を説明するための図である。図１９の（ａ）は、可視光波形において取得されたピーク点（頂点）を示すグラフであり、図１９の（ｂ）は、赤外光波形において取得されたピーク点（頂点）を示すグラフである。図１９の（ａ）および（ｂ）において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。

図１９の（ａ）では、可視光波形において、過剰にピーク点を取得しており、第１所定期間（５秒間）において、ピーク点が、第１の閾値以上または第１の閾値を超える、１０個または１１個存在するのがわかる。一方で、図１９の（ｂ）では、赤外光波形において、ピーク点は一定の心拍間隔時間で取得されており、標準偏差が１００ｍｓ以下である。この時、可視光波形および赤外光波形における第１および第２心拍間隔時間を示す時系列のデータナンバーがずれることになる。

したがって、相関度演算部１１３は、可視光波形演算部１１１と赤外光波形演算部１１２とより取得した、各脈波の頂点−底点間に存在する変曲点を利用して、可視光波形および赤外光波形の間の相関度を演算してもよい。相関度演算部１１３は、例えば、変曲点を用いて算出した第１心拍間隔時間と第２心拍間隔時間とを可視光波形演算部１１１および赤外光波形演算部１１２に算出させ、当該第１および第２心拍間隔時間の間の相関度度を演算する。具体的な演算法としては、可視光波形と赤外光波形との変曲点間の心拍間隔時間の相関や絶対誤差によって評価する。

なお、相関度演算部１１３では、可視光波形または赤外光波形における心拍間隔時間の相関係数が第２の閾値より小さい場合、または、可視光波形または赤外光波形におけるピーク点の数が第１所定期間において、少なくとも一方の波形におけるピーク点の数が、第１の閾値より多い場合、変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算するとしたが、これに限るものではない。例えば、相関度演算部１１３は、ピーク点を用いず、最初から変曲点間の心拍間隔時間を用いて、可視光波形および赤外光波形の間の相関度を演算してもよい。これにより、可視光波形または赤外光波形からピーク点を精度よく取得できていない場合であっても、変曲点間の心拍間隔時間を算出することで、心拍間隔時間に類似した時間を算出できる。ただし、変曲点間の心拍間隔時間は、ピーク点から取得できる心拍間隔時間に比べて、ノイズはのりにくいが、変曲点が頂点−底点間で変動しやすいという特徴を持つ。すなわち、頂点−頂点の心拍間隔時間が安定しており、例えば、標準偏差が１００ｍｓ以内となりやすく、変曲点−変曲点間の心拍間隔時間よりも、時間誤差が小さくなる傾向にある。したがって、本開示においては、特に断りがない限り、ピーク点から演算する心拍間隔時間を優先して使用する。

また、相関度演算部１１３は、上記とは別に、次の条件を満たした場合、変曲点間の心拍間隔時間をピーク点から演算する心拍間隔時間の代わりに、相関度の演算に用いてもよい。その条件とは、例えば、複数の心拍間隔時間および複数の心拍間隔時間のうち、可視光波形および赤外光波形のうちのピーク点の数が少ない方の波形に対応する心拍間隔時間の標準偏差が第４の閾値（例えば、１００ｍｓ）以下であることである。これは、第１所定期間におけるピーク点の数だけで、過剰にピーク点が取得されたか否かを判定する場合、実は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件にあてはまらず、過剰に取得されたピーク点を見過ごす可能性がある。

例えば、図２０は、ピーク点の数が過剰であるのに、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件に当てはまらない例を説明するための図である。図２０の（ａ）および（ｂ）において、共に横軸は時間を示し、縦軸は輝度を示し、黒丸は取得された頂点を示し、白丸は取得された変曲点を示す。

図２０の（ａ）に示すように、可視光波形において、５秒間で取得されたピーク点の数が８個であった場合、第１所定期間におけるピーク点の数が第１の閾値を超えているという条件にはあてはまらないが、図２０の（ｂ）に示す赤外光波形において取得されたピーク点の数とは異なる数のピーク点が取得されている。このとき、前述したように、一つでもピーク点を過剰に取得すると、第１心拍間隔時間および第２心拍間隔時間におけるデータナンバーが一つずつずれていくという問題がある、そこで、可視光波形または赤外光波形のいずれか一方の心拍間隔時間がほぼ一定であることが示すことができれば、当該波形のピーク点の数に応じて、調整（削除）することができる。ピーク点の調整の詳細は、図１８を用いて説明したとおりである。

なお、相関度演算部１１３は、可視光波形および赤外光波形の両方の波形において、第１所定期間での心拍間隔時間の標準偏差が第４の閾値を超える場合、両方の波形から適切な脈波タイミングが取得できないと判定し、光源制御部１１４に、両方の波形から適切な脈波タイミングが取得できないことを示す「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を送信する。

相関度演算部１１３は、車載表示装置１０を使用開始時、かつ、可視光波形演算部１１１によって、第１所定期間でピーク点が適切に取得できていた場合（すなわち、心拍間隔時間の標準偏差が第４の閾値より小さい場合）に、可視光波形の頂点−底点間の傾きを第１の傾きＡとして可視光波形演算部１１１に演算させた結果をメモリに記憶させる。そして、相関度演算部１１３は、光源制御部１１４によって、可視光光源１２１または赤外光光源１２３における光量が変化するたびに、赤外光波形の頂点−底点間の第２の傾きが第１の傾きＡになるように、光源制御部１１４に指令を送る。さらに、相関度演算部１１３は、光源制御部１１４において、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しなくてもよい。

図２１は、光源の光量の調整中に取得したピーク点を、可視光波形と赤外光波形との間の相関度の演算に使用しないことを説明するための例を示す図である。図２１のグラフにおいて、横軸は時間を示し、縦軸は輝度を示し、斜線の領域で光源の光量を調整している様子を示している。また、白丸および黒丸は、取得されたピーク点を示す。

図２１に示すように、光源の光量を調整することで、可視光波形または赤外光波形の輝度のゲインが変化し、それに応じてピーク点の尖度も変化する。尖度が変化した後のピーク点に対して、可視光波形演算部１１１または赤外光波形演算部１１２においてフィルタをかけると、フィルタをかける前の生波形のピークの尖度によって、ピーク点の位置が時間軸において前後に変化する。生体情報として心拍数を算出する程度であれば、この誤差は問題にならないが、脈波伝播時間から血圧を算出する場合等では、この誤差による影響は大きい。したがって、本開示の車載表示装置１０では、制御信号により可視光光源１２１または赤外光光源１２３の光量を制御している間において取得された可視光波形または赤外光波形から所定の特徴点（つまり、ピーク点）を抽出しなくてもよい。

なお、相関度演算部１１３は、可視光波形および赤外光波形における心拍間隔時間の相関係数が、第２の閾値より小さい場合、いずれか一方または両方の波形のピーク点の数が過剰であるとして、心拍間隔時間の誤差や各心拍間隔時間の標準偏差を算出し、所定の条件を満たした場合、波形の頂点から底点までの間の変曲点間の心拍間隔時間を用いるとしたが、これに限らない。相関度演算部１１３は、例えば、第１心拍間隔時間および第２心拍間隔時間の相関係数が第２の閾値より小さくても、両波形におけるピーク点は適切に取得できている（例えば、両波形の心拍間隔時間における標準偏差が共に、第４の閾値以下である）場合、光源制御部１１４に、「Ｆａｌｓｅ」の信号のみを送信する。

このように、相関度演算部１１３は、演算した相関度と、可視光波形および赤外光波形からの所定の特徴点の抽出結果とに応じた信号（例えば、「Ｔｒｕｅ」、「Ｆａｌｓｅ」、「Ｆａｌｓｅ，ＲＧＢ」、「Ｆａｌｓｅ，ＩＲ」および「Ｆａｌｓｅ，Ｂｏｔｈ」のいずれか）を光源制御部１１４に送信する。

（光源制御部１１４）
光源制御部１１４は、運転判定部１１６により判定され、送信された車両の運転状態から、可視光光源１２１における光源の光量を制御する。また、相関度演算部１１３から受信した信号に応じて、可視光光源１２１が出射する可視光の光量と、赤外光光源１２３が出射する赤外光の光量とを制御する。具体的には、光源制御部１１４は、ユーザから発せられる可視光が低下するように表示画面１０４を制御し、赤外光撮像部１２４が受光する赤外光から抽出される波形から脈波成分の特徴量が得られる状態で、表示画面１０４の制御を停止するようにしてもよい。

具体的には、運転判定部１１６は、ユーザがエンジンをかけた、または、周囲の環境光が暗くなったこと等により、可視光脈波が取得できなくなった際に、「Ｆｌａｇ＝ＯＮ」の信号を受信することで、可視光光源１２１が出射する光の光量を大きくし、また、相関度演算部１１３から得た、可視光脈波と赤外光脈波との脈波特徴量の一致度から、赤外光光源１２３と可視光光源１２１における光源の光量を制御する。

例えば、光源制御部１１４は、エンジンがかかっていない、ユーザが運転中（すなわち車両が動いている）、または、車両内の照度が、所定の閾値（例えば５０ルクス）より大きいことなどにより、可視光波形演算部１１１が可視光脈波を取得できているときには、運転判定部１１６から「Ｆｌａｇ＝ＯＦＦ」の信号を受信している。しかし、エンジンがかかっている、かつ、車両が停止中、かつ、車両内の照度が所定の閾値（例えば５０ルクス）以下であることにより、可視光波形演算部１１１が可視光脈波を取得できていないときには、光源制御部１１４は、運転判定部１１６から「Ｆｌａｇ＝ＯＮ」の信号を受信する。そして、光源制御部１１４は、「Ｆｌａｇ＝ＯＦＦ」から「Ｆｌａｇ＝ＯＮ」になった瞬間に、可視光光源１２１が出射する光の光量を、車両内の照度が例えば１０００ルクスになるように、大きくする。その後、光源制御部１１４は、相関度演算部１１３からの信号によって、可視光光源１２１と赤外光光源１２３の光源の光量を制御するが、そのプロセスの詳細については、後述する。

また、光源制御部１１４は、運転判定部１１６によって運転中と判定された場合には、Ｆｌａｇの信号とは独立して、Ｄｒｉｖｅの信号を受信する。例えば、「Ｄｒｉｖｅ＝ＯＮ」の信号は、ユーザが車両を運転していることを意味する。ここで、「Ｄｒｉｖｅ＝ＯＮ」の信号が受信された場合には、光源制御部１１４は、ユーザがカーナビゲーション装置によるナビゲーションを利用していると判断し、可視光光源１２１をＯＦＦにせず、車両内の照度が例えば５０ルクス程度になる光を照射し続ける。

なお、昼の場合と夜の場合とで、光源制御部１１４は、可視光光源１２１が照射する光の光量を変更してもよい。また、昼と夜との判定は、所定の時刻（例えば朝７時、又は、夕方１７時）より前であるか又は後であるかの判定によるとしてもよい。

また、光源制御部１１４は、例えば、「Ｆａｌｓｅ，ＩＲ」の信号を受信した場合、赤外光波形演算部１１２が赤外光波形において所定の特徴点を適切に取得できていないと判断できる。つまり、例えば、「Ｆａｌｓｅ，ＩＲ」の信号は赤外光波形にノイズが多いということを示している。このため、可視光光源１２１における光源の量は調整せず、赤外光光源１２３における光源の量を増加させる。

また、光源制御部１１４は、「Ｆａｌｓｅ，ＲＧＢ」の信号を受信した場合、可視光波形演算部１１１が可視光波形において所定の特徴点を適切に取得できていないと判断できる。また、光源制御部１１４は、この場合、赤外光波形演算部１１２が赤外光波形において所定の特徴点を適切に取得できているか否かを判断できない。したがって、光源制御部１１４は、例えば、赤外光波形において、第１所定期間の心拍間隔時間の標準偏差が第４の閾値以下であれば、可視光光源１２１における光源の光量を減少させ、赤外光光源１２３における光源の光量を赤外光波形の頂点から底点までの間の傾きがＡになるまで、増加させる。また、光源制御部１１４は、赤外光波形における上記標準偏差が第４の閾値を超えていれば、共に信号が取得できていないと判定し、信号を「Ｆａｌｓｅ，Ｂｏｔｈ」に変更する。

また、光源制御部１１４は、「ＦＡＬＳＥ，Ｂｏｔｈ」の信号を受信した場合、可視光波形においても、赤外光波形においても所定の特徴点が取得できていないと判断できる。光源制御部１１４は、この場合、可視光波形の頂点から底点までの傾きが第１の傾きＡになるまで、可視光光源１２１の光量を増加させる。なお、光源制御部１１４は、可視光波形の初期の光量がメモリに記憶されていれば、当該初期の光量になるまで可視光光源１２１の光量を増加させてもよい。また、光源制御部１１４は、赤外光光源１２３の光量を０まで減少させる。つまり、光源制御部１１４は、可視光波形および赤外光波形の両方において、所定の特徴点が取得できない場合、最も確実に取得できる状態である、可視光光源１２１の光量および赤外光光源１２３の光量を初期状態とし、再度光量の調整を行う。

つまり、光源制御部１１４は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第５の閾値（（−１）×第３の閾値）より小さい場合、可視光光源１２１における可視光の光量を減少させ、かつ、赤外光光源１２３における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリに記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。

また、光源制御部１１４は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第６の閾値（つまり第３の閾値）より大きい場合、赤外光光源１２３における赤外光の光量を増加させ、赤外光の光量の増加では、赤外光波形における第２の傾きが、メモリに記憶している第１の傾きＡになるまで、赤外光の光量を増加させる。

また、光源制御部１１４は、複数の第１心拍間隔時間の標準偏差が第４の閾値を超えており、かつ、複数の第２心拍間隔時間の標準偏差が第４の閾値を超えている場合であって、時系列において互いに対応する第１心拍間隔時間および第２心拍間隔時間の差が第５の閾値から第６の閾値までの間の値である場合、可視光光源１２１における可視光の光量を増加させ、かつ、赤外光光源１２３における赤外光の光量を減少させる。

なお、光源制御部１１４は、「Ｆａｌｓｅ，Ｂｏｔｈ」等の、可視光波形および赤外光波形の両方において、所定の特徴点が取得できなかった場合以外は、赤外光光源１２３の光量を赤外光波形の第２の傾きが第１の傾きＡになるまで増加させるとしたが、これに限らない。光源制御部１１４は、例えば、ＲＯＩにおける平均輝度値が、第７の閾値、例えば２４０を超えている場合、光源の光量が強すぎることにより、ユーザの肌から撮像される画像がノイズ情報に埋もれてしまう。このため、光源制御部１１４は、この場合、赤外光波形の第２の傾きが第１の傾きＡを超えていると考えられるので、第２の傾きが第１の傾きＡになるまで、赤外光の光量を減少させてもよい。

図２２は、脈波計測装置を用いて、可視光光源１２１の光量を０になるまで減少させ、かつ、赤外光光源１２３の光量を適切な光量まで増加させる最も簡単なステップの例を示す図である。図２２における（ａ）〜（ｄ）の全てのグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。また、図２２では、可視光波形をＲＧＢと表記し、赤外光波形をＩＲと表記している。

図２２の（ａ）は、ユーザが車載表示装置１０で可視光光源１２１をＯＮにした初期状態において、取得された可視光波形および赤外光波形を示す図である。図２２の（ａ）の可視光波形は、図２２の（ａ）〜（ｄ）の可視光波形のうちで、頂点から底点までの傾きが最も大きい波形である。したがって、この時の可視光波形の頂点から底点までの傾きを第１の傾きＡとして、メモリに記憶する。

また、この時、赤外光光源１２３はＯＦＦとなっている。このため、赤外光波形は、ほとんど取得されない。この状態では、相関度演算部１１３は、光源制御部１１４に、例えば、「Ｆａｌｓｅ，ＩＲ」という信号を送信する。したがって、光源制御部１１４では、赤外光光源１２３における赤外光光源１２３の光量を増加させる。この時、赤外光光源１２３の光量を増加させるにつれて、赤外光波形演算部１１２では、赤外光波形の所定の特徴点が取得できるようになり、第２の心拍間隔時間が取得できる。また、取得した第２心拍間隔時間の標準偏差は、第４の閾値以内に収まるようになる。そして、図２２の（ｂ）に示すように、第２心拍間隔時間の標準偏差を第４の閾値以内に収まった状態を維持しながら、赤外光波形の頂点−底点間の第２の傾きが第１の傾きＡになるまで、赤外光光源１２３の光量を増加させる。第２の傾きが第１の傾きＡとなった場合、相関度演算部１１３は、光源制御部１１４に、例えば、「ＴＲＵＥ，ＡＭＰ＝Ａ」の信号を送信する。このため、光源制御部１１４は、「ＴＲＵＥ，ＡＭＰ＝Ａ」の信号を受信した時点で、光源の調整を一度中止する。

次に、図２２の（ｂ）の状態から、光源制御部１１４は、可視光光源１２１における可視光源の光量を減少させていく。図２２の（ｃ）は、赤外光波形演算部１１２において、心拍間隔時間の標準偏差が第４の閾値以下であり、可視光光源１２１における光源がＯＦＦとなっている状態である。また、図２２の（ｄ）は、さらに、可視光光源１２１における光源がＯＦＦとなっており、かつ、赤外光波形における第２の傾きが第１の傾きＡとなっている状態、すなわち、最終的に目指す状態である。

図２２の（ｂ）の状態から図２２の（ｃ）の状態になる過程では、可視光の光量を一定間隔ずつ、例えば、１Ｗずつ減少させていく。そして、可視光の光量を減少させるたびに、赤外光波形演算部１１２および相関度演算部１１３は、赤外光波形において所定の特徴点が適切に取得できているか確認する。また、赤外光波形演算部１１２および相関度演算部１１３は、赤外光波形において所定の特徴点が適切に取得できていることが確認できれば、図２２の（ｄ）に示すように、赤外光光源１２３の光源における光量を、赤外光波形における第２の傾きが第１の傾きＡになるまで増加させる。

したがって、図２２の（ｂ）の状態から図２２の（ｃ）の状態になる過程では、相関度演算部１１３は、光源制御部１１４に対して、「Ｔｒｕｅ」の信号、もしくは、「Ｆａｌｓｅ，ＩＲ」の信号を送信し、光源制御部１１４は、「Ｆａｌｓｅ，ＩＲ」の信号を受信する度に「Ｔｒｕｅ」になるまで、赤外光光源１２３の光量を調整する。そして、光源制御部１１４は、可視光光源１２１の光量を減少させることで、相関度演算部１１３から「Ｆａｌｓｅ，ＲＧＢ」を受信すると、この過程を終了する。

または、図２２の（ｃ）の状態から図２２の（ｄ）の状態になる過程において、相関度演算部１１３は、光源制御部１１４に対し、「Ｆａｌｓｅ，ＲＧＢ」の信号を送信し、光源制御部１１４は、赤外光光源１２３における光源の光量を赤外光波形における第２の傾きが第１の傾きＡになるまで増加させ続け、例えば、可視光波形が取得できず、かつ、第２の傾きが第１の傾きＡになったことを示す「Ｆａｌｓｅ，ＲＧＢ，ＡＭＰ＝Ａ」の信号を相関度演算部１１３から受信すれば、光源制御部１１４による光源の光量の制御を終了する。

また、光源制御部１１４は、可視光波形演算部１１１または赤外光波形演算部１１２において、可視光波形または赤外光波形のそれぞれ、当該波形から連続する２つ以上の所定の特徴点が取得できた後に、光源の制御を行うという特徴を持つ。つまり、光源制御部１１４は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、可視光光源１２１における可視光の光量を制御する制御信号、または、赤外光光源１２３における赤外光の光量を制御する制御信号の出力を待機する。

図２３は、可視光波形および赤外光波形のそれぞれにおいて、当該波形から連続する２つ以上の所定の特徴点が第２所定期間内に抽出されるまで、光源制御を待機することを説明するための図である。図２３におけるグラフは、可視光波形または赤外光波形を示す。図２３のグラフにおいて、横軸は時間を示し、縦軸は輝度を示す。

光源制御部１１４は、可視光光源１２１、または、赤外光光源１２３の光量を変化させると、可視光波形または赤外光波形の輝度のゲインが変化する。そして、輝度のゲインが変化すると、脈波タイミングの位置がずれるため、心拍間隔時間等のタイミングの算出において、大きな誤差が生じる。また、本開示では、可視光波形と赤外光波形との相関度の判定材料として、心拍間隔時間を主に用いており、心拍間隔時間を算出するためには２つの連続するピーク点が必要である。したがって、図２３に示すように、光源制御部１１４は、可視光波形または赤外光波形において、連続してピーク点が２つ以上取れていることを確認した後、光源量を調整する。

（生体情報算出部１１５）
生体情報算出部１１５は、可視光波形演算部１１１で取得された可視光波形または赤外光波形演算部１１２で取得された赤外光波形のそれぞれの特徴量のいずれか一方を用いて、ユーザの生体情報を算出する。生体情報算出部１１５は、具体的には、可視光光源１２１がＯＮであり、かつ、可視光波形演算部１１１において可視光波形を取得できる場合、可視光波形演算部１１１から第１心拍間隔時間を取得する。そして、生体情報算出部１１５は、第１心拍間隔時間を用いて、例えば心拍数、ストレス指数などの生体情報を算出する。

一方で、生体情報算出部１１５は、可視光光源１２１がＯＦＦである、または、可視光波形演算部１１１において可視光波形が取得できない場合であって、赤外光波形演算部１１２において赤外光波形が取得できる場合、赤外光波形演算部１１２から第２心拍間隔時間を取得する。そして、生体情報算出部１１５は、第２心拍間隔時間を用いて、同様に、例えば心拍数、ストレス指数などの生体情報を算出する。

なお、生体情報算出部１１５は、可視光波形演算部１１１および赤外光波形演算部１１２の両方において各波形（可視光波形および赤外光波形）の特徴量（心拍間隔時間）が抽出できている場合、可視光波形演算部１１１からの第１心拍間隔時間を用いて、生体情報を算出する。これは、赤外光よりも可視光の方が、体動等のノイズへのロバスト性があり、信頼性が高いからである。

なお、算出する生体情報は、心拍数やストレス指数としたが、これに限ったものではない。例えば、得られた脈波から加速度脈波を算出し、動脈硬化指数を算出してもよい。また、２箇所の異なるユーザの部位から脈波のタイミングを正確に取得し、その時間差（脈波伝播時間）から血圧を推定してもよい。また、心拍間隔時間の変動から、交感神経、副交感神経の優位性を算出し、ユーザの眠気を算出してもよい。

（運転判定部１１６）
運転判定部１１６は、車両の運転状態を、車両のエンジンがかかっているかどうか、及び、ユーザが車両を運転しているかどうか等に基づいて判定し、可視光波形演算部１１１から得た脈波情報と合わせて、光源制御部１１４に送信する。そして、光源制御部１１４は、例えば、車両が停車している状態を示す運転状態であるときに、赤外光光源１２３による赤外光の出射の制御をしてもよい。

具体的には、運転判定部１１６は、４つの信号を取得し、可視光光源１２１をＯＮにするかどうかの判定信号を送信する。

４つの信号の１つ目は、「Ｄｒｉｖｅ」である。運転判定部１１６は、速度センサを備え、速度センサが取得する速度が、所定の閾値（例えば５ｋｍ/ｈ）を超えた場合に「Ｄｒｉｖｅ＝ＯＮ」とし、そうでない場合に「Ｄｒｉｖｅ＝ＯＦＦ」とする。

４つの信号の２つ目は、「Ｅｎｇｉｎｅ」である。運転判定部１１６は、車両のエンジンがかかっている（ＯＮ）か、又は、かかっていない（ＯＦＦ）かを判定する。例えば、車両のエンジンを始動するときに車載表示装置１０に電流が流れるように構成されている前提において、車載表示装置１０に電流が流れたらエンジンがＯＮであると判定して「Ｅｎｇｉｎｅ＝ＯＮ」とし、そうでないときにエンジンがＯＦＦであると判定して「Ｅｎｇｉｎｅ＝ＯＦＦ」とする。

４つの信号の３つ目は、「ｌｘ」である。可視光波形演算部１１１において、車両内の照度が所定の閾値（例えば５０ルクス）以下であれば、「ｌｘ＝ＯＦＦ」とし、そうでない場合に「ｌｘ＝ＯＮ」とする。

４つの信号の４つ目は、「Ｐｕｌｓｅ」である。運転判定部１１６は、可視光波形演算部１１１から、ユーザの可視光脈波の波形を取得した頻度を得る。脈波の取得頻度が十分である、例えば、可視光脈波の心拍間隔時間の標準偏差が第４の閾値以下であれば、「Ｐｕｌｓｅ＝ＯＮ」とし、そうでなければ、「Ｐｕｌｓｅ＝ＯＦＦ」とする。なお、脈波の取得頻度の判定には、可視光における心拍間隔時間の標準偏差で判定するとしたが、これに限ったものではない。例えば、所定の時間区間における脈波ピークの数で判定してもよい。

運転判定部１１６は、以上の４つの信号を総合的に判断して、可視光光源１２１をどのように制御するかを示す信号を光源制御部１１４に送る。具体的には、例えば、（Drive，Ｅｎｇｉｎｅ，ｌｘ，Ｐｕｌｓｅ）＝（ＯＦＦ，ＯＮ，ＯＦＦ，ＯＦＦ）のときに「Ｆｌａｇ＝ＯＮ」とした信号を光源制御部１１４に送信し、一方、上記以外のときに「Ｆｌａｇ＝ＯＦＦ」とした信号を光源制御部１１４に送信する。

図２４にその例について示す。図２４の（ａ）及び（ｂ）は、エンジンがかかっている場合、すなわち、「Ｅｎｇｉｎｅ＝ＯＮ」である場合の図を表している。図２４の（ａ）は、スピードメータが約６０ｋｍ/ｈを示しているので、ユーザは運転中である。したがって、「Ｄｒｉｖｅ＝ＯＮ」であるため、「Ｆｌａｇ＝ＯＦＦ」となり、可視光光源１２１は、光源制御部１１４により、光量を大きくして、ユーザの脈波を取得することはない。このとき、光源制御部１１４は、車両内の照度が５０ルクス程度になる光を可視光光源１２１に照射させ、ユーザがカーナビゲーション装置によるナビゲーションを利用できる状態にする。

一方、図２４の（ｂ）は、エンジンがかかっているが、スピードメータが０ｋｍ／ｈ、すなわち、「Ｅｎｇｉｎｅ＝ＯＮ」かつ「Ｄｒｉｖｅ＝ＯＦＦ」である場合を示している。また、このとき、車両内は比較的暗く（例えば、照度が４０ルクス程度）、ユーザの脈波の標準偏差が第４の閾値より大きいために取得できなかったとする。このとき、運転判定部１１６は、（Ｄｒｉｖｅ，Ｅｎｇｉｎｅ，ｌｘ，Ｐｕｌｓｅ）＝（ＯＦＦ，ＯＮ，ＯＦＦ，ＯＦＦ）と判定できる。よって、可視光光源１２１は光源制御部１１４により、地図情報等が消え、ユーザの脈波を取得するために、車両内の照度が例えば１０００ルクスになる光量で光を照射する。

（表示画面１０４）
表示画面１０４は、可視光撮像部１２２で撮像したユーザの顔画像を提示し、ユーザの顔が可視光撮像部１２２に映るように、ユーザに指示を与える。また、生体情報算出部１１５より得た生体情報を提示する。具体的には、表示画面１０４は、生体情報算出部１１５より得た心拍数、ストレス指数、ユーザの眠気情報等を表示する。表示画面１０４は、画素を発光するための光源として可視光光源１２１を有する。

なお、表示画面１０４は、生体情報算出部１１５より得た生体情報を提示するとしたが、これに限らない。表示画面１０４は、例えば可視光光源１２１が照射する光の光量、又は、赤外光光源１２３が照射する光の光量を常に提示してもよい。また、表示画面１０４は、相関度演算部１１３より、現在時点での一致度を、例えば、信頼度として％表示で提示してもよい。具体的には、表示画面１０４は、可視光波形と赤外光波形との間の相関係数を提示してもよい。

図２５に表示画面１０４による表示の例を示す。図２５では、表示画面１０４は、ユーザの心拍数、ストレス指数、眠気指数、現在の脈波取得信頼度（現時点における取得される脈波の信頼度）、可視光光源１２１と赤外光光源１２３との光量の比、及び、ユーザの覚醒状態を表示している。ここで、現在の脈波取得信頼度は、可視光脈波と赤外光脈波との心拍間隔時間の一致度における相関係数を示す。また、可視光光源１２１と赤外光光源１２３との光量の比は、現時点における可視光光源１２１の光量と赤外光光源１２３の光量の強さの比である。ユーザの覚醒状態は、上記の各情報から判定される、ユーザの運転における覚醒状態であり、例えば、心拍数６５以下、ストレス指数４０以下、睡眠深度が４０以下である場合に「ＧＯＯＤ」とする。なお、これらの表示内容は、表示することに加えて、例えば音声等で知らせてもよい。また、ユーザの覚醒指数が低下した場合等にはアラーム音で警告等をしてもよい。ユーザは車両を運転しているので、情報を視覚データとして得るより音声等で得る方が適切であることもあるからである。

図２６に、本実施の形態における車載表示装置１０の、可視光光源１２１の光量を調節するための運転判定部１１６による判定処理の流れを示すフローチャートを示す。

ステップＳ１０１において、運転判定部１１６は、ユーザが乗車する車両のエンジンがかかっているか否かを判定する。エンジンがかかっていればステップＳ１０２へ進み、そうでなければステップＳ１０７へ進む。

ステップＳ１０２において、運転判定部１１６は、ユーザが乗車する車両の速度が５ｋｍ/ｈ以上であるか否かを判定する。車両の速度が５ｋｍ/ｈより大きければステップＳ１０６へ進み、そうでなければステップＳ１０３へ進む。

ステップＳ１０３において、運転判定部１１６は、車両内の照度が５０ルクス以上あるか否かを判定する。車両内の照度が５０ルクス以上あればステップＳ１０７へ進み、そうでなければステップＳ１０４へ進む。

ステップＳ１０４において、運転判定部１１６は、可視光波形演算部１１１から得た、可視光脈波の心拍間隔時間の標準偏差が第４の閾値以下であるか否かを判定する。可視光脈波の心拍間隔時間の標準偏差が第４の閾値以下であればステップＳ１０７へと進み、そうでなければステップＳ１０５へと進む。

ステップＳ１０５において、運転判定部１１６は、Ｆｌａｇ信号をＯＮとし、判定処理を終了する。

ステップＳ１０６において、運転判定部１１６は、Ｄｒｉｖｅ信号をＯＮとする。ステップＳ１０２において、車両が運転中であると判定されたからである。

ステップＳ００７において、運転判定部１１６は、Ｆｌａｇ信号をＯＦＦとし、処理を終了する。ステップＳ１０１においてエンジンがかかっていないと判定された場合、ステップＳ１０２においてユーザが運転中であると判定された場合、ステップＳ１０３により車両内の照度が５０ルクス以上あると判定された場合、又は、ステップＳ１０４により可視光脈波の心拍間隔時間標準偏差が第４の閾値以下と判定された場合には、可視光光源１２１により１０００ルクスの光をユーザに照射することが適当でないからである。

図２７に、図２６の処理後の光源制御部１１４から可視光光源１２１への処理の流れを示すフローチャートを示す。

ステップＳ２０１において、光源制御部１１４は、運転判定部１１６より受信したＦｌａｇ信号がＯＮであるか否かを判定する。Ｆｌａｇ情報がＯＮであれば、ステップＳ２０３へと進み、Ｆｌａｇ情報がＯＮでない、つまりＯＦＦであれば、ステップＳ２０２へと進む。

ステップＳ２０２において、光源制御部１１４は、運転判定部１１６より受信したＤｒｉｖｅ信号がＯＮであるか否かを判定する。Ｄｒｉｖｅ信号がＯＮであればステップＳ２０４へと進み、そうでなければ処理を終了する。

ステップＳ２０３において、光源制御部１１４は、可視光光源１２１が照射する光の光量を、車両内の照度が１０００ルクスになるように調節し、処理を終了する。

ステップＳ２０４において、光源制御部１１４は、可視光光源１２１における光量を、車両内の照度が５０ルクスになるように調節し、処理を終了する。

図２８に、本実施の形態における車載表示装置１０による、可視光光源１２１を起動してから赤外光光源１２３が照射する光の光量を決定する処理の流れを示すフローチャートを示す。

ステップＳ３００において、可視光光源１２１を起動する。このとき、可視光脈波を取得しやすいように、車両内の照度が１０００ルクスになるように可視光光源１２１が照射する光の光量が制御されてもよい。

ステップＳ３０１において、可視光波形演算部１１１は、可視光光源１２１により可視光を照射されたユーザを可視光領域において撮像することにより得られた可視光画像を取得し、取得した可視光画像から、ユーザの脈波を示す波形である可視光波形を抽出する。可視光波形演算部１１１は、可視光波形において所定の特徴点である第１特徴点を複数抽出する。そして、可視光波形演算部１１１は、可視光波形の特徴量として、第１心拍間隔時間を算出する。また、可視光波形演算部１１１は、この時の可視光波形の頂点から底点までの傾きを第１の傾きＡとしてメモリに記憶させる。

ステップＳ３０２において、赤外光波形演算部１１２は、赤外光光源１２３により赤外光を照射されたユーザを赤外光領域において撮像することにより得られた赤外光画像を取得し、取得した赤外光画像から、ユーザの脈波を示す波形である赤外光波形を抽出する。赤外光波形演算部１１２は、赤外光波形において所定の特徴点である第２特徴点を複数抽出する。そして、赤外光波形演算部１１２は、赤外光波形の特徴量として、第２心拍間隔時間を算出する。

ステップＳ３０３において、相関度演算部１１３は、ピーク点の判定を行う。具体的には、相関度演算部１１３は、可視光波形において抽出された第１特徴点について、過剰取得されたピーク点がないか否かを判定する。また、相関度演算部１１３は、赤外光波形において抽出された第２特徴点について、過剰取得されたピーク点がないか否かを判定する。なお、相関度演算部１１３によるピーク点の判定処理の詳細は、後述する。

ステップＳ３０４において、相関度演算部１１３は、可視光波形および赤外光波形の相関度を演算する。なお、相関度演算部１１３による相関度の演算処理の詳細は、後述する。

ステップＳ３０５において、光源制御部１１４は、各光源の光量の調整を行う。光源制御部１１４は、光量の調整の結果に応じて、各光源の光量を制御するための制御信号を出力する。なお、光源制御部１１４による光量の調整処理の詳細は、後述する。

ステップＳ３０６において、生体情報算出部１１５は、可視光波形の特徴量および赤外光波形の特徴量の少なくとも一方から、生体情報を算出する。

ステップＳ３０７において、生体情報算出部１１５は、算出した生体情報を提示装置４０へ出力する。

図２９は、本実施の形態におけるピーク点の過剰取得判定処理の詳細を示すフローチャートである。

ステップＳ４０１において、相関度演算部１１３は、第１心拍間隔時間の標準偏差ＳＤ_ＲＧＢを算出する。

ステップＳ４０２において、相関度演算部１１３は、標準偏差ＳＤ_ＲＧＢが第４の閾値以下であるか否かを判定する。

ステップＳ４０３において、相関度演算部１１３は、標準偏差ＳＤ_ＲＧＢが第４の閾値以下であると判定した場合（Ｓ４０２でＹｅｓ）、第２心拍間隔時間の標準偏差ＳＤ_ＩＲを算出する。

ステップＳ４０４において、相関度演算部１１３は、標準偏差ＳＤ_ＩＲが第４の閾値以下であるか否かを判定する。

ステップＳ４０５において、相関度演算部１１３は、標準偏差ＳＤ_ＩＲが第４の閾値以下であると判定した場合（Ｓ４０４でＹｅｓ）、「Ｆａｌｓｅ」の信号を光源制御部１１４に送信する。

ステップＳ４０６において、相関度演算部１１３は、標準偏差ＳＤ_ＲＧＢが第４の閾値を超えると判定した場合（Ｓ４０２でＮｏ）、または、標準偏差ＳＤ_ＩＲが第４の閾値を超えると判定した場合（Ｓ４０４でＮｏ）、対応する第１心拍間隔時間と第２心拍間隔時間との間の絶対誤差ｅを算出する。

ステップＳ４０７において、相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕より小さいか否かを判定する。

ステップＳ４０９において、相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕より大きいと判定した場合（Ｓ４０７でＮｏ）、「Ｆａｌｓｅ，ＲＧＢ」の信号を光源制御部１１４に送信する。

ステップＳ４０８において、一方で、相関度演算部１１３は、絶対誤差ｅが−２００〔ｍｓ〕より小さいと判定した場合（Ｓ４０７でＹｅｓ）、絶対誤差ｅが２００〔ｍｓ〕より大きいか否かを判定する。

ステップＳ４１０において、相関度演算部１１３は、絶対誤差ｅが２００〔ｍｓ〕より大きいと判定した場合（Ｓ４０８でＹｅｓ）、「Ｆａｌｓｅ，ＩＲ」の信号を光源制御部１１４に送信する。

ステップＳ４１１において、相関度演算部１１３は、絶対誤差ｅが２００〔ｍｓ〕より小さいと判定した場合（Ｓ４０８でＮｏ）、「Ｆａｌｓｅ，Ｂｏｔｈ」の信号を光源制御部１１４に送信する。

図３０は、本実施の形態における相関度の演算処理の詳細を示すフローチャートである。

ステップＳ５０１において、相関度演算部１１３は、複数の第１心拍間隔時間と複数の第２心拍間隔時間との相関度を演算する。

ステップＳ５０２において、相関度演算部１１３は、演算することにより得られた相関度が第２の閾値より大きいか否かを判定する。

ステップＳ５０３において、相関度演算部１１３は、相関度が第２の閾値より大きいと判定した場合（Ｓ５０２でＹｅｓ）、「Ｔｒｕｅ」の信号を光源制御部１１４に送信する。

ステップＳ５０４において、相関度演算部１１３は、相関度が第２の閾値以下で有ると判定した場合（Ｓ５０２でＮｏ）、「Ｆａｌｓｅ」の信号を光源制御部１１４に送信する。

図３１は、本実施の形態における光量の調整処理の詳細を示すフローチャートである。

ステップＳ６０１において、光源制御部１１４は、相関度演算部１１３から受信した信号が、「Ｔｒｕｅ」、「Ｆａｌｓｅ」、「Ｆａｌｓｅ，ＩＲ」、「Ｆａｌｓｅ，ＲＧＢ」および「Ｆａｌｓｅ，Ｂｏｔｈ」の信号のいずれの信号であるかを判定する。

ステップＳ６０２において、光源制御部１１４は、受信した信号が「Ｔｒｕｅ」の信号である場合、可視光の光量を減少させ、かつ、赤外光の光量を増加させる。

ステップＳ６０３において、光源制御部１１４は、受信した信号が「Ｆａｌｓｅ」または「Ｆａｌｓｅ，ＩＲ」の信号である場合、赤外光の光量のみを増加させる。

ステップＳ６０４において、光源制御部１１４は、ステップＳ６０２またはステップＳ６０３において、赤外光の光量を増加させた場合、赤外光波形の第２の傾きがメモリに記憶している第１の傾きＡに等しいか否かを判定する。

光源制御部１１４は、第２の傾きが第１の傾きに等しいと判定すれば（Ｓ６０４でＹｅｓ）、光量の調整処理を終了する。

ステップＳ６０５において、光源制御部１１４は、受信した信号が「Ｆａｌｓｅ，ＲＧＢ」である場合、標準偏差ＳＤ_ＩＲが第４の閾値以下であるか否かを判定する。

光源制御部１１４は、標準偏差ＳＤ_ＩＲが第４の閾値以下であると判定した場合（Ｓ６０５でＹｅｓ）、ステップＳ６０２の処理を行う。

ステップＳ６０６において、光源制御部１１４は、受信した信号が「Ｆａｌｓｅ，Ｂｏｔｈ」である場合、または、標準偏差ＳＤ_ＩＲが第４の閾値より大きいと判定した場合（Ｓ６０５でＮｏ）、可視光の光量を増加させて初期の光量に戻し、かつ、赤外光の光量を減少させ赤外光光源１２３をＯＦＦにする。

光源制御部１１４は、ステップＳ６０４において第２の傾きが第１の傾きＡと異なると判定した場合（Ｓ６０４でＮｏ）またはステップＳ６０６が終了した場合、ステップＳ３００に戻る。

以上のように、本実施の形態において、本装置はエンジン開始時や、運転中に周囲環境が暗くなってからの停止中などで、可視光では脈波が取得できなくなった場合に、本装置付随のディスプレイを光らせて可視光を発光する。そして、暗闇でもユーザの脈波が取得できるように、可視光の脈波情報を用いて、赤外光でも脈波が取得できるよう、赤外光源の光量を制御する。これにより、運転手であるユーザは、夜だけでなく、昼も建物の影やトンネル等においても、脈波が容易に取得することが可能になる。

以上のように、本実施の形態に係る車載表示装置は、人の脈波を計測するのに適切な赤外光光源の光量を算出し、算出した光量の赤外線を人に照射することで人の脈波を取得する。このようにして、車載表示装置は、車両内において非接触でユーザの脈波を取得することができる。

また、車載表示装置は、可視光脈波と赤外光脈波との相関の大きさに基づいて、人に照射する赤外光の光量を制御する。これにより、可視光脈波と赤外光脈波とに相関がある状態を維持しながら赤外光の光量を変化させることができ、その結果、人の脈波を取得するのに適切な光量の赤外線を人に照射することができる。

また、車載表示装置は、車両が運転中であるか等の状態に応じて適切なときに、可視光及び赤外光を人に照射して赤外光による脈波の計測に適切な光量を決定することができる。具体的には、エンジン始動時などに人に照射すべき赤外線の光量を決定する処理を行うことができる。

また、車載表示装置は、人に照射する可視光の光量を低下させながら、可視光脈波と赤外光脈波との相関を計測し、赤外光による脈波の計測に適切な光量を決定することができる。

また、車載表示装置は、適切な赤外光の光量を決定する際に、人の目に可視光を照射することで人が眩しさを感じることを、光量の制御により抑制することができる。

また、車載表示装置は、適切な赤外光の光量を決定する際に、人の目に可視光を照射することで人が眩しさを感じることを、表示画面の姿勢の制御により抑制することができる。

また、車載表示装置は、車両が停止している状態において、赤外光による脈波の計測に適切な光量を決定することができる。

（実施の形態２）
実施の形態１では、車載表示装置の姿勢をユーザ自らが制御する例を説明した。本実施の形態においては、車載表示装置は、車両又はユーザの状態、例えば、車両が右ハンドル車であるか左ハンドル車であるか、又は、ユーザの身長又は座高によって変化するシートの位置等を判定し、それに応じて、可視光光源、可視光撮像部、赤外光光源、又は、赤外線撮像部が制御される。

図３２は、本実施の形態における車載表示装置２０の構成を示すブロック図である。図３３は、本実施の形態における車載表示装置２０の外観図である。なお、本実施の形態において、実施の形態１と異なる構成要素について主に説明する。また、実施の形態１と同様の構成要素については、同一の符号を付し、詳細な説明を省略することがある。

図３２に示すように、車載表示装置２０は、可視光光源１２１と、可視光撮像部１２２と、赤外光光源１２３と、赤外光撮像部１２４と、可視光波形演算部１１１と、赤外光波形演算部１１２と、相関度演算部１１３と、光源制御部１１４と、生体情報算出部１１５と、運転判定部１１６と、判定部１３１と、駆動部１３２とを備える。実施の形態１と同様、可視光光源１２１は、表示画面１０４が備えるものである。

図３３は、車載表示装置２０の外観の一例を示す。図３３に示すように、車載表示装置２０は、筐体を有し、その筐体に図３２に示す各構成要素が配置されている。

筐体の上部には、可視光カメラ１０６、赤外光カメラ１０８が並んで備えられている。また、表示画面１０４の水平方向の両サイドに赤外光ＬＥＤ１０７Ａ及び１０７Ｂが備えられている。

（可視光光源２２１）
可視光光源２２１は、基本的な構成は実施の形態１における可視光光源１２１とほぼ同様である。実施の形態１における可視光光源１２１と異なる点は、可視光光源２２１が、車両が右ハンドル車であるか、又は、左ハンドル車であるか、若しくは、ユーザの座る位置等によって、発光方法が変化することである。

図３４に示すように、ユーザが初めて車載表示装置２０を取り付けた車両に乗車する際に、判定部１３１が、車両が右ハンドル車であるか、又は、左ハンドル車であるかをユーザに尋ねる。そして、その情報に従って、可視光光源２２１は、表示画面１０４の半分のみから光を照射する。

例えば、図３５の（ａ）に示すように、車両が左ハンドルであるという選択をユーザがした場合には、表示画面１０４の左半分の領域１０４Ａが、車両内の照度が例えば１０００ルクスになるよう光量を大きくして照射する。このとき、表示画面１０４の右半分の領域１０４Ｂは、光量を大きくすることはない。

一方、図３５の（ｂ）に示すように、車両が右ハンドル車であることをユーザが選択した場合には、表示画面１０４の右半分の領域１０４Ｂの光量を大きくする。このとき、表示画面１０４の左半分の領域１０４Ａは、光量を大きくすることはない。

このように、可視光光源２２１は、車両のハンドル位置によって、可視光光源２２１が照射する光の光量を決めることができる。そして、表示画面１０４の左半分又は右半分だけから光を照射する場合、表示画面１０４の全領域から光を照射する場合と比較して、半分の領域による光の照射で済み、すなわち、半分の消費電力で実現される利点がある。

さらに、可視光光源２２１は、判定部１３１において、ユーザの顔の位置又はシートの位置を検知し、検知結果に応じて発光量を変化させてもよい。具体的には、例えば、一つ一つのＬＥＤ素子に印加する電圧を制御することで発光量を変化させてもよいし、表示画面１０４のうち光を出射する領域を変化させてもよい。例えば、車両が右ハンドル車であり、座高が低く、光の照射範囲が一般的な場合と比較して下側になる場合、可視光光源２２１は、図３６に示すように、表示画面１０４の右半分かつ下半分の領域１０４Ｄの光量を大きくしてもよい。このとき、表示画面１０４のうち上記領域１０４Ｄを除く部分（領域１０４Ｃ）は、光量を大きくすることはない。

なお、表示画面１０４の姿勢が、ハンドル位置情報に基づいて変更されてもよい。具体的には、表示画面１０４による光の出射方向が、ハンドルを有する席を向く方向に近づくように表示画面１０４を傾けてもよい。

（赤外光光源２２３）
赤外光光源２２３は、基本的な構成は実施の形態１における赤外光光源１２３とほぼ同様である。実施の形態１における赤外光光源１２３と異なる点は、赤外光光源２２３が、表示画面１０４の水平方向における両サイドに配置された２個の赤外光ＬＥＤ１０７Ａ及び１０７Ｂを有する点である。そして、２個の赤外光ＬＥＤ１０７Ａ及び１０７Ｂは、車両のハンドル位置の違いによって、発光するかしないかが制御される。なお、本実施の形態においては、２個の赤外光ＬＥＤ１０７Ａ及び１０７Ｂが２個の赤外光光源に相当する。

例えば、図３４に示すように、車載表示装置２０を初めて使用するユーザに対して、車両が右ハンドル車であるか、又は、左ハンドル車であるかを判定部１３１により判定し、その選択に応じて、発光する赤外光ＬＥＤが決定される。例えば、車両が左ハンドル車である場合には、図３５の（ａ）に示すように、左側の赤外光ＬＥＤ１０７Ａのみが点灯する。一方、車両が右ハンドル車である場合には、図３５の（ｂ）に示すように、右側の赤外光ＬＥＤ１０７Ｂのみが点灯する。

このようにして、可視光光源２２１と同様、ユーザの車両に応じて、使用する赤外光光源を変更することで、ユーザの頬に対して照射される角度がより正確になり、また、照射する光量も、一点のみから照射する時よりも、少ない消費電力で赤外光源における脈波が取得可能である。

（判定部１３１）
判定部１３１は、車両又はユーザの特徴に基づいて、可視光光源２２１と赤外光光源２２３の発光位置や発光手段を決定する処理部である。具体的には、車両が右ハンドル車であるか、又は、左ハンドル車であるか、若しくは、ユーザの座高やシートの位置によって変わる撮像領域から、可視光光源２２１と赤外光光源２２３の発光位置や発光手段、そして、駆動部１３２を制御して撮像位置を決定する。

例えば、ユーザが車載表示装置２０を取り付けた車両に初めて乗車する際に、表示画面１０４を用いて、車両が右ハンドル車であるか、又は、左ハンドル車であるかをユーザに尋ねる。具体的な方法として、例えば、車載表示装置２０の表示画面１０４にタッチセンサを備え、タッチセンサに触れた回数を「Ｃｏｕｎｔ」として計数する。そして、カウントがＣｏｕｎｔ＝０からＣｏｕｎｔ＝１になった際に、ユーザに対し、図３４に示すように、ハンドルがどちらか尋ね、設定してもよい。

なお、車両が右ハンドル車であるか、又は、左ハンドル車であるかの判定をタッチセンサにて判定するとしたが、これに限ったものではない。例えば、可視光撮像部１２２または、赤外光撮像部１２４により、ユーザがどちらのハンドルであるか判定してもよい。そして、ハンドル位置を判定した後は、判定結果を示す情報を可視光光源２２１と赤外光光源２２３と、駆動部１３２に送信する。

なお、車両が右ハンドル車であるか、又は、左ハンドル車であるかは、初期設定時に一度設定すれば、原則変化することはない。しかし、乗車するドライバーが変わることはあり、それに応じて、座高等が異なるため、撮像位置を調整する必要がある。そこで、判定部１３１は、ユーザの座高、シートの位置等から最適な表示画面１０４の姿勢を設定し、それに応じて、駆動部１３２に制御信号を送信する。

図３７にその例を示す。図３７の（ａ）は、現在のユーザの座高が、これより前のユーザの座高よりも低く、シートの位置は変わっていない場合を示す。このとき、可視光撮像部１２２、または、赤外光撮像部１２４に映るユーザの全体の顔の大きさは大きくは変わらないが、座高の差の影響により、撮像領域が顔の上側のみとなってしまい、適切に可視光脈波又は赤外光脈波を取得することが難しくなる。この場合、例えば、ユーザの顔のうちの目の位置を認識し、ディスプレイの縦方向の座標位置における目の位置が、所定の位置（例えば表示画面１０４の下側から４分の１の領域に含まれる位置）にあった場合、判定部１３１は、図３７の（ｂ）に示すように、目の座標位置が中心位置に位置するように駆動部１３２に情報を送信する。

（駆動部１３２）
駆動部１３２は、判定部１３１から受信した信号から、車載表示装置２０の姿勢を制御する処理部である。例えば、駆動部１３２、車載表示装置２０の左右方向の向きを制御するモータと、上下方向の向きを制御するモータを有する。

駆動部１３２は、判定部１３１によるハンドル位置の判定結果を受信し、現時点の車載表示装置２０の姿勢では、可視光波形演算部１１１、または、赤外光波形演算部１１２によりユーザの脈波が取得できないと判断した場合に、車載表示装置２０の姿勢を制御し、ユーザの顔領域を取得できるようにする。

例えば、車両が右ハンドル車であると判定され、可視光光源２２１及び赤外光光源２２３ともに右側のみが点灯した状態であっても、車載表示装置２０が正面を向いているために、ユーザの顔に適切に光があたらず、ユーザの脈波が取得できない場合がある。このとき、駆動部１３２は、車載表示装置２０をユーザから見て右向きに動かし、ユーザの顔の中心がディスプレイの中心に一致するように制御する。

また、ハンドル位置が決まっても、ユーザが変わったことにより、脈波取得のために微調整が必要となった場合には、判定部１３１から制御情報を受信し、駆動部１３２は、車載表示装置２０の姿勢を決める角度を制御する。例えば、図３７の（ａ）のように、座高が低いために、可視光撮像部１２２、または、赤外光撮像部１２４にユーザの顔の上部しか映らない場合、判定部１３１はユーザの目の位置を中心位置に制御するように、駆動部１３２に対し、方向と角度（例えば上方向に３０度）を示す情報を送信し、駆動部１３２は、車載表示装置２０を上方向に３０度動かし、ユーザの脈波が可視光領域ならびに赤外光領域により、取得できるようにする。

図３８に、本実施の形態における、判定部１３１による判定処理とそれに応じた可視光発光部、赤外光発光部の処理の流れを示すフローチャートを示す。

ステップＳ７０１において、判定部１３１は、Ｃｏｕｎｔ信号が０から１に変化しているか判定する。Ｃｏｕｎｔ信号が０から１に変化したと判定した場合、ステップＳ６０２に進み、そうでなければ、処理を終了する。

ステップＳ７０２において、判定部１３１は、ユーザにハンドル情報について質問を行う。これは、ステップＳ７０１において、Ｃｏｕｎｔ信号が０から１に変化した場合、すなわち、初期設定状態の場合に相当する。

ステップＳ７０３において、判定部１３１は、ステップＳ７０２でユーザが選択したハンドル位置情報が、右ハンドルであることを示しているか否かを判定する。右ハンドルであることを示していれば、ステップＳ７０４へ進み、そうでなければ、ステップＳ７０６へ進む。

ステップＳ７０４において、判定部１３１は、可視光光源２２１を制御することで、表示画面１０４の右半分のみを点灯させる。

ステップＳ６０５において、判定部１３１は、赤外光光源２２３のうちの右側に配置されている赤外光ＬＥＤ１０７Ｂのみを点灯させ、処理を終了する。

ステップＳ６０６において、判定部１３１は、可視光光源２２１を制御することで、表示画面１０４の左半分のみを点灯させる。

ステップＳ６０７において、判定部１３１は、赤外光光源２２３のうちの左側に配置されている赤外光ＬＥＤ１０７Ａのみを点灯させ、終了する。

以上のように、本実施の形態に係る車載表示装置２０は、車両のハンドル位置を判定し、それに応じて、表示画面１０４が可視光を出射する領域が変化し、また、赤外光を出射する赤外光ＬＥＤが変化する。これにより、車両のハンドル位置が異なる場合であっても、車載表示装置２０を設置し設定するだけで、運転手であるユーザの脈波をより正確に取得することができ、車両内における生体モニタリングが可能となる。

以上のように、本実施の形態に係る車載表示装置は、車両のハンドル位置に応じて表示画面の姿勢を変化させることで、運転席に乗車しているユーザの脈波を適切に取得することができる。

また、車載表示装置は、左右に配置された２つの赤外光光源のいずれかを用いることで、左ハンドル車又は右ハンドル車の運転席に乗車しているユーザの脈波を適切に取得することができる。

また、車載表示装置は、右ハンドル車の車両内において非接触でユーザの脈波を取得することができる。

また、車載表示装置は、左ハンドル車の車両内において非接触でユーザの脈波を取得することができる。

（実施の形態３）
本実施の形態において、上記各実施の形態における車載表示装置の必須の構成要素だけを示す。

図３９は、本実施の形態における車載表示装置３０の構成を示すブロック図である。

図３９に示されるように、車載表示装置３０は、表示画面１０４と、可視光受光部１４２と、赤外光受光部１４３と、赤外光光源１４４と、光源制御部１４５と、脈波算出部１４６とを備える。光源制御部１４５と、脈波算出部１４６とは、ＣＰＵ１０１（図１参照）等により実現され得る。

可視光受光部１４２は、表示画面１０４が出射した光を受けた人から発せられる可視光を受光する。赤外光受光部１４３は、赤外光光源１４４が出射した赤外光を受けた人から発せられる赤外光を受光する。

光源制御部１４５は、可視光受光部１４２が受光した可視光の光量と、赤外光受光部１４３が受光した赤外光の光量とに基づいて、赤外光光源１４４による赤外光の出射の制御をする。脈波算出部１４６は、上記制御の後に赤外光受光部１４３が受光した赤外光の光量から人の脈波に関する脈波情報を算出し、算出した脈波情報を出力する。

これにより、車載表示装置３０は、上記各実施の形態における車載表示装置１０及び２０と同様の効果を奏する。

なお、車載表示装置等に含まれる各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。つまり、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。

また、各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の車載表示装置の制御方法などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、車載表示装置の制御方法であって、前記車載表示装置は、表示画面と、前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、赤外光光源と、前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、プロセッサとを備え、前記制御方法では、前記プロセッサにより、前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、算出した前記脈波情報を出力する制御方法を実行させる。

以上、一つまたは複数の態様に係る車載表示装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

例えば、上記実施の形態において、特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

本開示は、車両内において非接触でユーザの脈波を取得する車載表示装置などとして有用である。具体的には、カーナビゲーション装置、車両の後部座席用モニタ装置、電子ミラー装置、音楽等の再生装置に有用である。

１０、２０、３０ 車載表示装置
１０１ ＣＰＵ
１０２ メインメモリ
１０３ ストレージ
１０４、１４１ 表示画面
１０４Ａ、１０４Ｂ、１０４Ｃ、１０４Ｄ 領域
１０５ 可視光ＬＥＤ
１０６ 可視光カメラ
１０７、１０７Ａ、１０７Ｂ 赤外光ＬＥＤ
１０８ 赤外光カメラ
１１１ 可視光波形演算部
１１２ 赤外光波形演算部
１１３ 相関度演算部
１１４、１４５ 光源制御部
１１５ 生体情報算出部
１１６ 運転判定部
１２１、２２１ 可視光光源
１２２ 可視光撮像部
１２３、２２３、１４４ 赤外光光源
１２４ 赤外光撮像部
１３１ 判定部
１３２ 駆動部
１４２ 可視光受光部
１４３ 赤外光受光部
１４６ 脈波算出部

Claims (13)

1. 表示画面と、
   前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、
   赤外光光源と、
   前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、
   プロセッサとを備え、
   前記プロセッサは、
   前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、
   前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、
   算出した前記脈波情報を出力する
   車載表示装置。
2. 前記プロセッサは、
   前記赤外光の出射の制御において、前記可視光受光部が受光した可視光から抽出される波形に含まれる脈波成分の特徴量と、前記赤外光受光部が受光した赤外光から抽出される波形に含まれる脈波成分の特徴量との相関度を算出し、算出した前記相関度に基づいて、前記赤外光光源による赤外光の出射の前記制御をする
   請求項１に記載の車載表示装置。
3. 前記プロセッサは、さらに、
   前記車載表示装置が搭載されている車両の運転状態に基づいて、前記赤外光光源による赤外光の出射の前記制御をする
   請求項２に記載の車載表示装置。
4. 前記プロセッサは、さらに、
   前記人から発せられる可視光が低下するように前記表示画面を制御し、前記赤外光受光部が受光する赤外光から抽出される波形から脈波成分の特徴量が得られる状態で、前記表示画面の制御を停止する
   請求項１〜３のいずれか１項に記載の車載表示装置。
5. 前記プロセッサは、前記表示画面が出射する光の光量を低下させることで、前記人の目に照射される光量を所定以下にする
   請求項１〜４のいずれか１項に記載の車載表示装置。
6. 前記プロセッサは、前記表示画面の姿勢を変化させることで、前記人の目に照射される光量を所定以下にする
   請求項１〜５のいずれか１項に記載の車載表示装置。
7. 前記プロセッサは、取得した前記運転状態が、前記車両が停車している状態を示す運転状態であるときに、前記赤外光光源による赤外光の出射の前記制御をする
   請求項３に記載の車載表示装置。
8. 前記プロセッサは、さらに、
   前記車載表示装置が配置される車両が右ハンドル車両であるか左ハンドル車両であるかを示すハンドル位置情報を受け付け、
   受け付けた前記ハンドル位置情報に基づいて、前記表示画面による光の出射方向が、ハンドルを有する席を向く方向に近づくように前記表示画面を傾ける
   請求項１〜７のいずれか１項に記載の車載表示装置。
9. 前記車載表示装置は、２つの前記赤外光光源を備え、
   ２つの前記赤外光光源は、前記表示画面の正面視における水平方向において前記表示画面を挟む位置に配置されている
   請求項１〜８のいずれか１項に記載の車載表示装置。
10. 前記プロセッサは、さらに、
    受け付けた前記ハンドル位置情報が右ハンドル車両であることを示すときには、前記表示画面の正面視における右側の略半分の領域のみを発光させる
    請求項８に記載の車載表示装置。
11. 前記プロセッサは、さらに、
    受け付けた前記ハンドル位置情報が左ハンドル車両であることを示すときには、前記表示画面の正面視における左側の略半分の領域のみを発光させる
    請求項８に記載の車載表示装置。
12. 車載表示装置の制御方法であって、
    前記車載表示装置は、
    表示画面と、
    前記表示画面が出射した光を受けた人から発せられる可視光を受光する可視光受光部と、
    赤外光光源と、
    前記赤外光光源が出射した赤外光を受けた人から発せられる赤外光を受光する赤外光受光部と、
    プロセッサとを備え、
    前記制御方法では、前記プロセッサにより、
    前記可視光受光部が受光した可視光から抽出される波形と、前記赤外光受光部が受光した赤外光から抽出される波形とに基づいて、前記赤外光光源による赤外光の出射の制御をし、
    前記制御の後に前記赤外光受光部が受光した赤外光から抽出される波形から前記人の脈波に関する脈波情報を算出し、
    算出した前記脈波情報を出力する
    制御方法。
13. 請求項１２に記載の車載表示装置の制御方法をコンピュータに実行させるためのプログラム。

Images