JP7204941B2 - 乗員監視装置、乗員監視システム、及び乗員監視方法 - Google Patents

Description

この発明は、乗員監視装置、乗員監視システム、及び乗員監視方法に関するものである。

特許文献１には、ルームミラーのケース内に収容されたカメラによって助手席に搭乗した乗員を撮像し、撮像した画像を用いて当該乗員を監視する乗員監視装置が記載されている。この乗員監視装置は、運転席に搭乗した乗員が後方を視認しやすいようにルームミラーを適切な姿勢に調整した場合に撮像されるフロントピラーを、当該ルームミラーに内蔵されたカメラが撮像した画像から検出する。そして、乗員監視装置は、フロントピラーが画像中の所定の位置に検出された場合、助手席に搭乗した乗員を撮像できていると判定する。

特開２０００－２６４１２８号公報

しかしながら、運転席に搭乗した乗員が後方を視認できるルームミラーの姿勢には一定の許容範囲があるため、助手席に搭乗した乗員が常に画像中の特定の位置に写るとは限らない。そのため、特許文献１に記載された乗員監視装置は、画像に映る乗員が監視対象の乗員ではない場合であっても、画像に映る当該乗員を監視対象の乗員として誤って検出してしまう可能性があった。

この発明は、上記のような課題を解決するためになされたもので、姿勢調整可能なルームミラーに内蔵されたカメラによって撮像された画像から、監視対象の運転者を検出することを目的とする。

この発明に係る乗員監視装置は、姿勢調整可能なルームミラーに内蔵されたカメラによって撮像された車室内の画像を取得する画像取得部と、運転者が後方を視認しやすいように前記ルームミラーの姿勢を調整した場合、前記画像取得部により取得された画像の予め定められた位置に設備検出領域を設定してリアウィンドウを前記設備検出領域から検出する設備検出部と、前記設備検出部により前記リアウィンドウが検出された場合、前記リアウィンドウの画像位置を基準にして、前記画像に対して乗員監視領域を設定する監視領域設定部と、前記画像取得部により取得された画像のうちの前記監視領域設定部により設定された前記乗員監視領域の画像を用いて前記運転者を監視する乗員監視部とを備えるものである。

この発明によれば、姿勢調整可能なルームミラーに内蔵されたカメラによって撮像された画像から監視対象の運転者を検出できる。

実施の形態１に係るルームミラーの構成例を示す斜視図である。 図１のルームミラーが設置された車両の例を示す斜視図である。 実施の形態１に係るルームミラーに内蔵された赤外線カメラが撮像した画像の例を示す図である。 実施の形態１に係る乗員監視システムの構成例を示すブロック図である。 実施の形態１に係る乗員監視システムによるルームミラー初期姿勢調整の動作例を示すフローチャートである。 図６Ａは、設備検出部がリアウインドウを検出できない画像の例を示し、図６Ｂは、監視領域設定部が設定した乗員監視領域の一部がはみ出た画像の例を示す。 実施の形態１に係る乗員監視システムによる乗員監視の動作例を示すフローチャートである。 図８Ａ及び図８Ｂは、実施の形態１に係る乗員監視装置のハードウェア構成例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係るルームミラー１の構成例を示す斜視図である。図２は、図１のルームミラー１が設置された車両１０の例を示す斜視図である。ここでは、車両１０の左右方向がＸ軸、前後方向がＹ軸、上下方向がＺ軸である。ルームミラー１は、車両１０のフロントウインドウ（図示せず）又はその付近の天井に設置された車載機器であり、運転者１１が後方を視認するために使用される。図２に矢印で示されるように、運転者１１は、ルームミラー１を介してリアウインドウ１２を見ることで、車両１０の後方を確認する。

ルームミラー１は、ミラーケース２、アーム３、赤外線フィルタ４、ハーフミラー５、赤外線発光部６ａ，６ｂ、赤外線カメラ７、及び仕切り部材８を含む。ミラーケース２の背面にはアーム３が設けられている。アーム３は、ミラーケース２をフロントウインドウ（図示せず）又はその付近の天井に固定する。また、このアーム３は、ルームミラー１の姿勢をＸ軸方向及びＺ軸方向に変化させる。運転者１１がルームミラー１を手で掴んでルームミラー１の姿勢を調整してもよい。または、アーム３にアクチュエータが内蔵されている場合、運転者１１がアクチュエータを操作することによりルームミラー１の姿勢を調整してもよい。

ミラーケース２の正面には、ハーフミラー５が装着されている。ハーフミラー５の裏面かつミラーケース２の内部には、赤外線フィルタ４が配置されている。赤外線フィルタ４の裏面かつミラーケース２の内部には、赤外線発光部６ａ，６ｂ及び赤外線カメラ７が配置されている。図１の例は、１つの赤外線カメラ７の両脇に赤外線発光部６ａと赤外線発光部６ｂとが配置された構成であるが、赤外線発光部６ａ又は赤外線発光部６ｂのいずれか一方のみが配置された構成であってもよい。

赤外線発光部６ａ，６ｂは、車両１０内に向けて赤外線を照射する。赤外線カメラ７は、赤外線発光部６ａ，６ｂが照射した赤外線のうち、車両１０内で反射しハーフミラー５及び赤外線フィルタ４を透過した赤外線を受光し、画像として出力する。なお、赤外線発光部６ａ、赤外線発光部６ｂ、及び赤外線カメラ７が仕切り部材８で仕切られている。そのため、赤外線発光部６ａ，６ｂは、照射した赤外線がハーフミラー５及び赤外線フィルタ４に反射して赤外線カメラ７に入射しない。

赤外線フィルタ４の裏面側に、赤外線発光部６ａ，６ｂ、赤外線カメラ７、及び仕切り部材８が配置されている。そのため、赤外線発光部６ａ，６ｂ、赤外線カメラ７、及び仕切り部材８は、ルームミラー１の外部から見えない。そのため、被写体である運転者１１及び同乗者に、赤外線カメラ７及び赤外線発光部６ａ，６ｂの存在を意識させることなく、乗員監視用の赤外線カメラ７を車両１０に配置することができる。

図３は、実施の形態１に係るルームミラー１に内蔵された赤外線カメラ７が撮像した画像の例を示す図である。図３に示される画像は、運転者１１が後方を視認しやすいようにルームミラー１を適切な姿勢に調整した場合に、赤外線カメラ７によって撮像された画像である。この画像には、運転席に搭乗している運転者１１、助手席、リアウインドウ１２、左右のリアサイドウインドウ１４、左右のリアピラー１６、及びルーフライニング１７等が写っている。赤外線カメラ７の撮像範囲は、ルームミラー１の姿勢が本来の目的で使用するために調整された場合に、リアウインドウ１２と乗員監視装置２０の監視対象である運転者１１が搭乗する運転席とが含まれる範囲に設定されているものとする。

図４は、実施の形態１に係る乗員監視システム３０の構成例を示すブロック図である。乗員監視システム３０は、ルームミラー１と、乗員監視装置２０とを含む。乗員監視装置２０には、ルームミラー１に内蔵された赤外線カメラ７と、車両１０に設けられた警告機器２６とが接続されている。この警告機器２６は、スピーカ又はディスプレイ等を有しており、音声又は表示等によって運転者１１に対して警告する。乗員監視装置２０は、画像取得部２１、設備検出部２２、監視領域設定部２３、乗員監視部２４、及び警告部２５を備える。

画像取得部２１は、姿勢調整可能なルームミラー１に内蔵された赤外線カメラ７によって撮像された車両１０内の画像を、赤外線カメラ７から取得する。画像取得部２１は、取得した画像を、設備検出部２２及び乗員監視部２４へ出力する。

設備検出部２２は、画像取得部２１から画像を受け取り、この画像の予め定められた位置に設備検出領域１３を設定する。ここで、運転者１１が後方を視認しやすいようにルームミラー１を適切な姿勢に調整した場合に、つまり車載機器であるルームミラー１の姿勢が本来の目的で使用するために調整された場合に、赤外線カメラ７によって撮像される車室内の第１設備をリアウインドウ１２とする。設備検出領域１３は、第１設備であるリアウインドウ１２を検出するための領域であり、画像内の固定位置に予め設定されている。設備検出部２２は、赤外線カメラ７が撮像した画像に設備検出領域１３を設定し、リアウインドウ１２を設備検出領域１３から検出する。設備検出領域１３からリアウインドウ１２を検出できた場合、運転者１１がルームミラー１を介して後方を視認できていることになる。設備検出領域１３からリアウインドウ１２を検出できなかった場合、運転者１１がルームミラー１を介して後方を視認できない状態である可能性が高い。設備検出部２２は、設備検出領域１３からリアウインドウ１２を検出できた場合、画像とリアウインドウ１２の画像位置とを監視領域設定部２３へ出力する。一方、設備検出領域１３から画像とリアウインドウ１２を検出できなかった場合、設備検出部２２は、検出できなかった旨を警告部２５に通知する。

監視領域設定部２３は、画像とリアウインドウ１２の画像位置とを、設備検出部２２から受け取る。監視領域設定部２３は、設備検出部２２から通知されたリアウインドウ１２の画像位置を基準にして、画像に対して乗員監視領域１５を設定する。なお、監視領域設定部２３は、リアウインドウ１２の位置を基準とした乗員監視領域１５の位置に関する情報を予め保持している。監視対象の乗員が運転者１１である場合の、リアウインドウ１２と乗員監視領域１５の位置関係は、図３に例示されている。監視領域設定部２３は、設定した乗員監視領域１５の画像位置を、乗員監視部２４へ通知する。監視領域設定部２３は、設定した乗員監視領域１５の一部又は全部（以下、「少なくとも一部」と称する）が画像からはみ出る場合、その旨を警告部２５に通知する。

乗員監視部２４は、画像取得部２１から画像を受け取り、監視領域設定部２３から通知された乗員監視領域１５をこの画像に設定する。乗員監視部２４は、画像取得部２１から受け取った画像のうちの乗員監視領域１５の画像を用いて、運転者１１を監視する。例えば、乗員監視部２４は、運転者１１の眠気、脇見、又は疲労等の状態を判定し、運転者１１が異常な状態であると判定した場合、その旨を警告部２５に通知する。

警告部２５は、設備検出部２２、監視領域設定部２３、又は乗員監視部２４からの通知を受けた場合、警告機器２６に対して警告を発するよう指示する。警告機器２６は、警告部２５から指示を受けると警告を発する。

次に、乗員監視システム３０の動作を説明する。
図５は、実施の形態１に係る乗員監視システム３０によるルームミラー初期姿勢調整の動作例を示すフローチャートである。例えば、乗員監視システム３０は、車両１０の発車前に毎回、図５のフローチャートに示される動作を行う。

ステップＳＴ１において、画像取得部２１は、赤外線発光部６ａ，６ｂが赤外線を照射した状態で赤外線カメラ７が撮像した画像を、赤外線カメラ７から取得する。

ステップＳＴ２において、設備検出部２２は、画像取得部２１により取得された画像の予め定められた位置に設備検出領域１３を設定し、設備検出領域１３からリアウインドウ１２を検出する。

設備検出部２２が設備検出領域１３からリアウインドウ１２を検出できた場合（ステップＳＴ２“ＹＥＳ”）、監視領域設定部２３は、設備検出部２２が検出したリアウインドウ１２の画像位置を基準にして、ステップＳＴ１で取得された画像に対して乗員監視領域１５を設定する（ステップＳＴ３）。

設備検出部２２が設備検出領域１３からリアウインドウ１２を検出できなかった場合（ステップＳＴ２“ＮＯ”）、運転者１１がルームミラー１を介して後方を視認できない状態である可能性が高い。そのため、ステップＳＴ５において、設備検出部２２は、ルームミラー１の姿勢調整を運転者１１に促す警告を発するよう、警告部２５に対して指示する。警告部２５は、この指示に従い、警告機器２６から警告を発する。

図６Ａは、設備検出部２２が設備検出領域１３からリアウインドウ１２を検出できない画像の例を示す。ルームミラー１が下を向いているため、この画像にはリアウインドウ１２が写っていない。例えば、設備検出部２２は、リアウインドウ１２が設備検出領域１３内に収まっている場合、設備検出領域１３からリアウインドウ１２を検出できたとし、リアウインドウ１２の少なくとも一部が設備検出領域１３からはみ出した場合、設備検出領域１３からリアウインドウ１２を検出できなかったとする。

ステップＳＴ４において、監視領域設定部２３は、設定した乗員監視領域１５が画像内に収まるか否かを判定する。乗員監視領域１５が画像内に収まる場合（ステップＳＴ４“ＹＥＳ”）、監視領域設定部２３は、乗員監視領域１５の画像位置を、乗員監視部２４へ通知する。

監視領域設定部２３は、設定した乗員監視領域１５の少なくとも一部が画像からはみ出る場合（ステップＳＴ４“ＮＯ”）、乗員監視部２４が運転者１１を監視できない状態である可能性が高い。そのため、ステップＳＴ６において、監視領域設定部２３は、ルームミラー１の姿勢調整を運転者１１に促す警告を発するよう、警告部２５に対して指示する。警告部２５は、この指示に従い、警告機器２６から警告を発する。

図６Ｂは、監視領域設定部２３が設定した乗員監視領域１５の一部がはみ出た画像の例を示す。リアウインドウ１２の画像位置を基準にして設定された乗員監視領域１５の半分が、画像からはみ出した状態となっている。この例において、運転者１１は、ルームミラー１を介して後方を視認できない可能性が高い。

ステップＳＴ５又はステップＳＴ６において警告機器２６が警告を発した後、乗員監視装置２０は、運転者１１がルームミラー１の姿勢を調整したと仮定して、図５のフローチャートに示される動作を行う。なお、ステップＳＴ５又はステップＳＴ６において警告機器２６によって警告が発せられるような場合は、運転者１１の顔が乗員監視領域１５内に収まらない可能性が高いため、乗員監視部２４による運転者１１の監視が困難となる。

乗員監視装置２０が、車両１０の発車前に運転者１１に対してルームミラー１の姿勢を調整するよう促すので、運転者１１がルームミラー１の姿勢調整を忘れて発車して走行中にルームミラー１の姿勢を調整することを抑制できる。そのため、運転者１１を運転に集中させることができる。また、例えば、複数人で車両１０をシェアする場合、発車前に、交代後の運転者が自身にとって適切な姿勢にルームミラー１を調整できる。

図７は、実施の形態１に係る乗員監視システム３０による乗員監視の動作例を示すフローチャートである。乗員監視システム３０は、図５に示されるルームミラー初期位置調整の動作を行った後、図７のフローチャートに示される動作を開始する。図７のフローチャートに示される動作の開始前に、乗員監視部２４は、乗員監視領域１５の画像位置を監視領域設定部２３から受け取り済みである。

ステップＳＴ１１において、画像取得部２１は、赤外線発光部６ａ，６ｂが赤外線を照射した状態で赤外線カメラ７が撮像した画像を、赤外線カメラ７から取得する。

ステップＳＴ１２において、設備検出部２２は、画像取得部２１により取得された画像の予め定められた位置に設備検出領域１３を設定し、設備検出領域１３からリアウインドウ１２を検出する。

設備検出部２２が設備検出領域１３からリアウインドウ１２を検出できなかった場合（ステップＳＴ１２“ＮＯ”）、車両１０の走行中に運転者１１がルームミラー１の姿勢を再調整した可能性がある。そのため、ステップＳＴ１６において、設備検出部２２は、ルームミラー１の姿勢調整を運転者１１に促す警告を発するよう、警告部２５に対して指示する。警告部２５は、この指示に従い、警告機器２６から警告を発する。

設備検出部２２は、設備検出領域１３からリアウインドウ１２を検出できた場合（ステップＳＴ１２“ＹＥＳ”）、検出したリアウインドウ１２の画像位置が、前回のステップＳＴ１２で検出したリアウインドウ１２の画像位置から変化したか否かを判定する（ステップＳＴ１３）。なお、初回のステップＳＴ１３においては、設備検出部２２は、初回のステップＳＴ１３で検出したリアウインドウ１２の画像位置が図５のステップＳＴ２で検出したリアウインドウ１２の画像位置から変化したか否かを判定すればよい。

リアウインドウ１２の画像位置が変化した場合（ステップＳＴ１３“ＹＥＳ”）、車両１０の走行中に運転者１１がルームミラー１の姿勢を再調整した可能性がある。そのため、ステップＳＴ１７において、設備検出部２２は、乗員監視領域１５を再設定するよう、監視領域設定部２３に通知する。監視領域設定部２３は、この通知に従い、ステップＳＴ１２で検出されたリアウインドウ１２の画像位置を基準にして、ステップＳＴ１１で取得された画像に対して乗員監視領域１５を再設定する。そして、監視領域設定部２３は、再設定した乗員監視領域１５の画像位置を、乗員監視部２４に通知する。

リアウインドウ１２の画像位置が変化していない場合（ステップＳＴ１３“ＮＯ”）、乗員監視部２４は、ステップＳＴ１１で取得された画像のうちの乗員監視領域１５の画像を用いて運転者１１を監視する（ステップＳＴ１４）。赤外線カメラ７が内蔵されたルームミラー１の姿勢が変化した場合でも、この赤外線カメラ７が撮像した画像に設定する乗員監視領域１５の位置がルームミラー１の姿勢に応じて変更される。そのため、姿勢が変化するルームミラー１の内部に乗員監視用の赤外線カメラ７を配置しても、画像から運転者１１を検出できる。

運転者１１の異常が認められた場合（ステップＳＴ１５“ＹＥＳ”）、乗員監視部２４は、運転者１１に警告を発するよう、警告部２５に対して指示する。警告部２５は、この指示に従い、警告機器２６から警告を発する（ステップＳＴ１８）。一方、乗員監視部２４において運転者の異常が認められなければ（ステップＳＴ１５“ＮＯ”）、乗員監視装置２０は、図７のフローチャートに示される動作を行う。

最後に、実施の形態１に係る乗員監視装置２０のハードウェア構成を説明する。
図８Ａ及び図８Ｂは、実施の形態１に係る乗員監視装置２０のハードウェア構成例を示す図である。乗員監視装置２０における画像取得部２１、設備検出部２２、監視領域設定部２３、乗員監視部２４、及び警告部２５の機能は、処理回路により実現される。即ち、乗員監視装置２０は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。

図８Ａに示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。画像取得部２１、設備検出部２２、監視領域設定部２３、乗員監視部２４、及び警告部２５の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。

図８Ｂに示されるように、処理回路がプロセッサ１０１である場合、画像取得部２１、設備検出部２２、監視領域設定部２３、乗員監視部２４、及び警告部２５の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、乗員監視装置２０は、プロセッサ１０１により実行されるときに、図５及び図７のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、画像取得部２１、設備検出部２２、監視領域設定部２３、乗員監視部２４、及び警告部２５の手順又は方法をコンピュータに実行させるものであるとも言える。

ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

なお、画像取得部２１、設備検出部２２、監視領域設定部２３、乗員監視部２４、及び警告部２５の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、乗員監視装置２０における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。

以上のように、実施の形態１に係る乗員監視装置２０は、画像取得部２１、設備検出部２２、監視領域設定部２３、及び乗員監視部２４を備える。画像取得部２１は、姿勢調整可能なルームミラー１に内蔵された赤外線カメラ７によって撮像された車両１０内の画像を取得する。設備検出部２２は、ルームミラー１の姿勢が本来の目的で使用するために調整された場合に赤外線カメラ７によって撮像される車両１０内の設備をリアウインドウ１２とし、画像取得部２１により取得された画像の予め定められた位置に設備検出領域１３を設定してリアウインドウ１２を設備検出領域１３から検出する。監視領域設定部２３は、設備検出部２２によりリアウインドウ１２が検出された場合、リアウインドウ１２の画像位置を基準にして、画像に対して乗員監視領域１５を設定する。乗員監視部２４は、画像取得部２１により取得された画像のうちの監視領域設定部２３により設定された乗員監視領域１５の画像を用いて運転者１１を監視する。この構成により、乗員監視装置２０は、姿勢調整可能なルームミラー１に内蔵された赤外線カメラ７によって撮像された画像から、監視対象の運転者１１を検出できる。

また、実施の形態１に係る乗員監視装置２０は、警告部２５を備える。警告部２５は、設備検出部２２がリアウインドウ１２を検出できない場合、又は監視領域設定部２３が設定した乗員監視領域１５の少なくとも一部が画像からはみ出る場合の少なくとも一方であれば、警告機器２６に対して警告を発するよう指示する。この構成により、乗員監視装置２０は、車両１０内に設けられた運転者１１がルームミラー１を介して後方を視認できない状態、又は、乗員監視部２４が運転者１１を監視できない状態である場合に、運転者１１に対してルームミラー１の姿勢を再調整するように促すことができる。したがって、乗員監視装置２０は、ルームミラー１に内蔵された赤外線カメラ７が監視対象の運転者１１を撮像できる姿勢と、ルームミラー１を本来の目的で使用するために適切な姿勢とを両立させることができる。

なお、車両１０内に荷物等が存在することによりリアウインドウ１２が隠された場合、ステップＳＴ２，ＳＴ１２において、設備検出部２２はリアウインドウ１２を検出できない。その場合、設備検出部２２は、車両１０内の予め定められた第２設備を画像から検出し、第２設備の画像位置を基準にして第１設備であるリアウインドウ１２の画像位置を推定してもよい。例えば、左右のリアサイドウインドウ１４が第２設備である場合、設備検出部２２は、左側のリアサイドウインドウ１４又は右側のリアサイドウインドウ１４の少なくとも一方を画像から検出する。設備検出部２２は、リアサイドウインドウ１４の形状又はリアピラー１６の角度等に基づいて、検出したリアサイドウインドウ１４が車両１０の左側か右側かを判定すればよい。設備検出部２２は、左側のリアサイドウインドウ１４又は右側のリアサイドウインドウ１４の少なくとも一方を画像から検出した場合、検出したリアサイドウインドウ１４の画像位置を基準にして、リアウインドウ１２の画像位置を推定する。なお、左側のリアサイドウインドウ１４とリアウインドウ１２との位置関係、及び右側のリアサイドウインドウ１４とリアウインドウ１２との位置関係は、設備検出部２２に対して予め設定されている。監視領域設定部２３は、設備検出部２２が推定したリアウインドウ１２の画像位置を基準にして、画像に対して乗員監視領域１５を設定する。

また、夜間に車両１０が走行している場合等、車外が暗い場合、設備検出部２２が設備検出領域１３からリアウインドウ１２を検出するのが困難な可能性がある。そこで、リアウインドウ１２周辺のリアピラー１６及びルーフライニング１７等は、赤外線を吸収しない素材で構成されていることが望ましい。これにより、赤外線発光部６ａ，６ｂが照射した赤外線は、リアウインドウ１２を透過する一方、リアウインドウ１２の周辺で反射するようになり、リアウインドウ１２とその周辺とで画素値の差が大きくなるため、設備検出部２２におけるリアウインドウ１２の検出が容易になる。

また、実施の形態１では、乗員監視部２４が運転者１１を監視したが、運転者１１以外の乗員を監視してもよい。その場合、監視領域設定部２３は、リアウインドウ１２の位置を基準とした乗員監視領域１５の位置として、助手席等の監視対象の乗員が搭乗する座席に相当する画像位置に関する情報を予め保持する。また、赤外線カメラ７の撮像範囲は、ルームミラー１の姿勢が本来の目的で使用するために調整された場合に、リアウインドウ１２と監視対象の乗員が搭乗する座席とが含まれる範囲に設定される。
なお、乗員監視部２４が２人以上の乗員を同時に監視してもよい。その場合、監視領域設定部２３は、リアウインドウ１２の位置を基準として、２つ以上の乗員監視領域１５を画像に設定する。また、赤外線カメラ７の撮像範囲は、ルームミラー１の姿勢が本来の目的で使用するために調整された場合に、リアウインドウ１２と監視対象の乗員が搭乗する全座席とが含まれる範囲に設定される。

また、実施の形態１では、乗員監視用の赤外線カメラ７がルームミラー１に内蔵されたが、ルームミラー１以外の車載機器に内蔵されてもよい。赤外線カメラ７を内蔵する車載機器としては、前席の天井に設置されて姿勢調整可能なディスプレイ、又は前席の天井に設置されて開閉するオーバヘッドコンソール等がある。その場合、設備検出部２２は、上記ディスプレイ等の姿勢が本来の目的で使用するために調整された場合に、上記ディスプレイ等に内蔵された赤外線カメラ７によって撮像される車室内の設備を、第１設備とする。また、赤外線カメラ７の撮像範囲は、上記ディスプレイ等の姿勢が本来の目的で使用するために調整された場合に、第１設備と監視対象の乗員が搭乗する座席とが含まれる範囲に設定される。

また、実施の形態１では、乗員監視用のカメラとして赤外線カメラ７が使用されたが、可視光カメラが使用されてもよい。

また、実施の形態１では、画像取得部２１、設備検出部２２、監視領域設定部２３、乗員監視部２４、及び警告部２５の機能が、車両１０に搭載される乗員監視装置２０に集約された構成であったが、これらの機能がネットワーク上のサーバ装置、スマートフォン等の携帯端末、又は乗員監視装置２０のうちの２つ以上の装置に分散されていてもよい。また、乗員監視装置２０がネットワーク上のサーバ装置として構築されていてもよい。

なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、又は実施の形態の任意の構成要素の省略が可能である。

この発明に係る乗員監視システムは、姿勢調整可能な車載機器に内蔵されたカメラが撮像した画像を用いて乗員を監視するようにしたので、車両、鉄道、船舶、又は航空機を含む移動体等の乗員を監視する乗員監視システムに用いるのに適している。

１ ルームミラー（車載機器）、２ ミラーケース、３ アーム、４ 赤外線フィルタ、５ ハーフミラー、６ａ，６ｂ 赤外線発光部、７ 赤外線カメラ、８ 仕切り部材、１０ 車両、１１ 運転者、１２ リアウインドウ（第１設備）、１３ 設備検出領域、１４ リアサイドウインドウ、１５ 乗員監視領域、１６ リアピラー、１７ ルーフライニング、２０ 乗員監視装置、２１ 画像取得部、２２ 設備検出部、２３ 監視領域設定部、２４ 乗員監視部、２５ 警告部、２６ 警告機器、３０ 乗員監視システム、１００ 処理回路、１０１ プロセッサ、１０２ メモリ。

Claims (6)

1. 姿勢調整可能なルームミラーに内蔵されたカメラによって撮像された車室内の画像を取得する画像取得部と、
   運転者が後方を視認しやすいように前記ルームミラーの姿勢を調整した場合、前記画像取得部により取得された画像の予め定められた位置に設備検出領域を設定してリアウィンドウを前記設備検出領域から検出する設備検出部と、
   前記設備検出部により前記リアウィンドウが検出された場合、前記リアウィンドウの画像位置を基準にして、前記画像に対して乗員監視領域を設定する監視領域設定部と、
   前記画像取得部により取得された画像のうちの前記監視領域設定部により設定された前記乗員監視領域の画像を用いて前記運転者を監視する乗員監視部とを備える乗員監視装置。
2. 前記設備検出部が前記リアウィンドウを検出できない場合、又は前記監視領域設定部が設定した前記乗員監視領域の少なくとも一部が前記画像からはみ出る場合の少なくとも一方であれば、前記車室内に設けられた警告機器に対して警告を発するよう指示する警告部を備えることを特徴とする請求項１記載の乗員監視装置。
3. 前記設備検出部は、前記リアウィンドウを検出できない場合、前記車室内の予め定められた左右のリアサイドウインドウを前記画像から検出し、前記左右のリアサイドウインドウの画像位置を基準にして前記リアウィンドウの画像位置を推定することを特徴とする請求項１記載の乗員監視装置。
4. 前記設備検出部は、前記リアウインドウを検出できない場合、左側のリアサイドウインドウ又は右側のリアサイドウインドウの少なくとも一方を前記画像から検出し、検出したリアサイドウインドウの画像位置を基準にして前記リアウインドウの画像位置を推定することを特徴とする請求項１記載の乗員監視装置。
5. カメラが内蔵された、姿勢調整可能なルームミラーと、
   請求項１記載の乗員監視装置とを備えることを特徴とする乗員監視システム。
6. 画像取得部が、姿勢調整可能なルームミラーに内蔵されたカメラによって撮像された車室内の画像を取得し、
   設備検出部が、運転者が後方を視認しやすいように前記ルームミラーの姿勢を調整した場合、前記画像取得部により取得された画像の予め定められた位置に設備検出領域を設定して前記リアウィンドウを前記設備検出領域から検出し、
   監視領域設定部が、前記設備検出部により前記リアウィンドウが検出された場合、前記リアウィンドウの画像位置を基準にして、前記画像に対して乗員監視領域を設定し、
   乗員監視部が、前記画像取得部により取得された画像のうちの前記監視領域設定部により設定された前記乗員監視領域の画像を用いて前記運転者を監視する乗員監視方法。

Images