JP4269998B2 - 撮影装置 - Google Patents

Description

本発明は、車両に搭載される撮影装置に関するものである。

従来、車両の室内に搭載されたカメラによりその車両の運転者における顔面を撮影し、その撮影画像を解析（例えば眼の状態を解析）することにより、顔面認証、脇見検知、居眠り検知、視線検知等の処理を行う撮影装置が知られている。

こうした撮影装置においては、運転者の顔面に影が生じること等によって良好な撮影結果が得られないと、画像解析に支障をきたして適切な処理が行えなくなってしまう。そこで、運転者の顔面に光を照射するための照明を備えたものがある。例えば、運転者の顔面を撮影する赤外ＣＣＤカメラをメータパネルに配置するとともに、この赤外ＣＣＤカメラの近傍に近赤外光を発する赤外ＬＥＤを配置することで、赤外ＣＣＤカメラの撮影方向から運転者の顔面へ向けて近赤外光を照射するようにしたものがある（例えば、特許文献１参照。）。
特開平６−３１９０６７号公報

しかしながら、運転者の顔面における影の生じ方は、車両外部から入射する光の状態や運転者の姿勢等によって大きく変化する。このため、上記特許文献１に記載の構成のように単にカメラによる撮影方向から光を照射するだけでは、良好な撮影結果が得られない場合がある。

本発明は、こうした問題にかんがみてなされたものであり、撮影装置により良好な撮影結果を安定して得ることができるようにすることを目的としている。

上記目的を達成するためになされた請求項１に記載の撮影装置では、撮影手段（例えばカメラ）が、車両の乗員（例えば運転者や助手席の乗員）における撮影対象箇所（例えば顔面や上半身）を撮影し、第１の照射手段が、撮影手段による撮影方向から撮影対象箇所へ向けて近赤外光を照射する。そして、本撮影装置では、第２の照射手段が、第１の照射手段とは異なる方向から撮影対象箇所へ向けて近赤外光を照射する。さらに、サンバイザ状態検出手段が、車両に設けられた移動可能なサンバイザの移動状態（例えば開閉状態）を検出し、このサンバイザ状態検出手段による検出結果に基づいて、光量変更手段が、第１の照射手段及び第２の照射手段のうちの少なくとも一方によって照射される近赤外光の光量を変更する。

このため、本撮影装置によれば、良好な撮影結果を安定して得ることができる。すなわち、第２の照射手段により第１の照射手段とは異なる方向から撮影対象箇所へ向けて近赤外光を照射する構成により、車両の乗員の姿勢が変化しても、撮影対象箇所に影が生じにくくすることができる。また、車両外部から入射する光の状態はサンバイザの状態によって大きく変化するが、本撮影装置ではサンバイザの状態に応じて第１の照射手段及び第２の照射手段のうちの少なくとも一方により照射される近赤外光の光量を変更するため、外部光の状態に応じた光量で近赤外光を照射することが可能となる。加えて、本撮影装置では、撮影対象箇所に近赤外光（例えば約７７０ｎｍ〜約２５００ｎｍの波長域）を照射するようにしているため、昼夜を問わずに良好な撮影結果を得ることができる。

なお、第１の照射手段や第２の照射手段により照射される光には、少なくとも近赤外光が含まれていればよく、その他の成分（可視光等）が含まれていてもよい。
ここで、第２の照射手段は、近赤外光が撮影手段に直接入射しないような方向から撮影対象箇所へ向けて近赤外光を照射することが好ましい。例えば、請求項２に記載の撮影装置では、上記請求項１の撮影装置において、撮影手段が、撮影対象箇所（例えば乗員の顔面、特に、眼の状態を検出する場合には眼）をその正面かつ下方から撮影（換言すれば、第１の照射手段が、撮影対象箇所の正面かつ下方から撮影対象箇所へ向けて近赤外光を照射）し、第２の照射手段が、撮影対象箇所の正面かつ上方から撮影対象箇所へ向けて近赤外光を照射する。この構成によれば、撮影対象箇所正面の上方及び下方から近赤外光が照射されることとなるため、撮影対象箇所に影を生じにくくするのに効果的である。

また、請求項３に記載の撮影装置では、上記請求項１の撮影装置において、第２の照射手段が、車両に設けられるサンバイザ又はその近傍から撮影対象箇所へ向けて近赤外光を照射する。この構成によれば、撮影対象箇所における日陰となりやすい部分に対して近赤外光を効果的に照射することができる。

一方、請求項４に記載の撮影装置では、上記請求項１の撮影装置において、撮影手段が、撮影対象箇所（例えば乗員の顔面、特に、眼の状態を検出する場合には眼）をその正面かつ上方から撮影（換言すれば、第１の照射手段が、撮影対象箇所の正面かつ上方から撮影対象箇所へ向けて近赤外光を照射）し、第２の照射手段が、撮影対象箇所の正面かつ下方から撮影対象箇所へ向けて近赤外光を照射する。この構成によれば、撮影対象箇所正面の上方及び下方から近赤外光が照射されることとなるため、撮影対象箇所に影を生じにくくするのに効果的である。

また、請求項５に記載の撮影装置では、上記請求項１の撮影装置において、第１の照射手段が、車両に設けられるサンバイザ又はその近傍から撮影対象箇所へ向けて近赤外光を照射（換言すれば、撮影手段が、撮影対象箇所を車両に設けられるサンバイザ又はその近傍から撮影）する。この構成によれば、撮影対象箇所における日陰となりやすい部分に対して近赤外光を効果的に照射することができる。

ところで、こうした撮影装置が撮影対象とする車両の乗員は主に運転者や助手席の乗員であり、その撮影対象箇所は少なくとも顔面を含んでいるのが通常である。そこで、上記請求項２又は３においては、第２の照射手段を例えば請求項６のように、また、上記請求項４又は５においては、第１の照射手段を例えば請求項７のように構成するとよい。

すなわち、請求項６に記載の撮影装置では、上記請求項２又は３の撮影装置において、第２の照射手段は、車両におけるフロントガラスの上方位置（換言すれば、サンバイザの近傍位置又はサンバイザと一体で設けられる位置）で近赤外光を発する発光手段である。このため、本撮影装置によれば、撮影対象箇所への効果的な近赤外光の照射を、簡素な構成により実現することができる。

また、請求項７に記載の撮影装置では、上記請求項４又は５の撮影装置において、第１の照射手段は、車両におけるフロントガラスの上方位置（換言すれば、サンバイザの近傍位置又はサンバイザと一体で設けられる位置）で近赤外光を発する発光手段である。このため、本撮影装置によれば、撮影対象箇所への効果的な近赤外光の照射を、簡素な構成により実現することができる。

ここで、発光手段は、例えば請求項８に記載のように、近赤外光に加え、可視光も発光する構成であってもよい。このようにすれば、発光手段をバニティミラー（サンバイザに設けられる化粧直し用ミラー）用の照明としても兼用することができる。その場合、バニティミラーの蓋が可視光カットフィルタでできており、閉まっている状態では近赤外光のみ照射される。バニティミラーとして使用するときは、蓋をスライド開閉することで可視光に対するシャッターの役割を果たす。

また、車両に設けられるサンバイザが、車両のフロントガラス上部を通過して車室内へ入射しようとする光を遮る遮光位置と、その車室内へ入射しようとする光を取り込む非遮光位置との間で回転移動可能に構成されている場合には、例えば請求項９に記載のように、発光手段が、サンバイザが回転移動する回転軸上に設けられているとよい。この構成によれば、サンバイザが遮光位置及び非遮光状態のいずれに位置していても、発光手段から撮影対象箇所への近赤外光の照射がサンバイザによって遮られないようにすることができる。

また、例えば請求項１０に記載のように、発光手段が、車両に設けられるサンバイザ（例えばサンバイザの先端部）に組み込まれている構成であってもよい。この構成によっても、発光手段から撮影対象箇所への近赤外光の照射がサンバイザによって遮られないようにすることができる。そして特に、車両に設けられるサンバイザが、車両のフロントガラス上部を通過して車室内へ入射しようとする光を遮る遮光位置と、その車室内へ入射しようとする光を取り込む非遮光位置との間で回転移動可能に構成されている場合には、例えば請求項１１に記載のように、発光手段が、サンバイザの回転移動位置に応じてサンバイザに対する向きが変化するように構成されているとよい。この構成によれば、サンバイザが遮光位置及び非遮光位置のいずれに位置していても、発光手段からの近赤外光が撮影対象箇所へ向けて照射されるようにすることが可能となる。

また、車両に設けられるサンバイザが、少なくとも近赤外光を透過するものである場合には、例えば請求項１２に記載のように、発光手段が、サンバイザによって遮られる位置に設けられている構成であってもよい。この構成によれば、発光手段の配置の自由度を高くすることができる。

一方、車両におけるフロントガラス上方位置以外に発光手段を配置することも可能である。
すなわち、請求項１３に記載の撮影装置では、上記請求項２又は３の撮影装置において、第２の照射手段は、車両の天井部で近赤外光を発する発光手段と、発光手段からの光を撮影対象箇所へ向けて反射する反射手段と、を備えている。この構成によれば、発光手段の配置の自由度を極めて高くすることができる。

また、請求項１４に記載の撮影装置では、上記請求項４又は５の撮影装置において、第１の照射手段は、車両の天井部で近赤外光を発する発光手段と、発光手段からの光を撮影対象箇所へ向けて反射する反射手段と、を備えている。この構成によれば、発光手段の配置の自由度を極めて高くすることができる。

ここで、反射手段は、例えば請求項１５に記載のように、車両に設けられるサンバイザに組み込まれているとよい。このようにすれば、車両の運転者や助手席の乗員に対し近赤外光を良好に照射することができる。
また、反射手段は、例えば請求項１６に記載のように、可視光の反射を防止しつつ近赤外光を反射するとよい。この構成によれば、撮影対象箇所へ向けて照射するための近赤外光を発光する発光手段の配置の自由度を極めて高くすることができる。すなわち、例えば、発光手段を車両の室内における天井部に設けることができる。この結果、撮影対象箇所へ向けて近赤外光を効果的に照射することのできる位置に発光手段を配置することが可能となるため、撮影装置により良好な撮影結果が安定して得られるようにすることができる。

次に、請求項１７に記載の撮影装置では、上記請求項１〜１６のいずれかの撮影装置において、光量補正手段が、撮影手段による撮影結果に基づいて、第１の照射手段及び第２の照射手段のうちの少なくとも一方によって照射される近赤外光の光量を補正する。つまり、撮影結果に基づくフィードバック制御を行う。この構成によれば、近赤外光の光量を適切な値にすることができる。

以下、本発明が適用された実施形態について、図面を用いて説明する。
図１は、実施形態の撮影装置の概略構成を表すブロック図である。
この撮影装置は、車両に搭載されており、その車両の運転者を撮影することにより顔面認証、脇見検知、居眠り検知、視線検知、体格・姿勢検知等の処理を行うためのものである。具体的には、図１に示すように、カメラ１１と、メイン投光器１２と、サブ投光器１３と、カメラ制御部１４と、投光制御部１５と、サンバイザセンサ１６と、システム調停部１７と、第１画像処理部１８と、第２画像処理部１９と、を備えている。

カメラ１１は、車両の運転者Ｄの撮影対象箇所（本実施形態では顔面、主として眼の状態）を撮影するためのものであり、運転者Ｄの顔面をその正面（乗員の座席（本実施形態の場合、運転席）と対向する位置）かつ下方（本実施形態では運転者の眼よりも下方の位置）から撮影する位置（具体的には車両のメータパネル）に配置されている。ここで、カメラ１１が配置される「撮影対象箇所の正面」とは、例えば、車両の進行方向を直視した状態での顔面における少なくとも左右の片側半面を見通すことのできる位置、と定義することができる。また、カメラ１１の撮像素子としては、例えばＣＣＤやＣＭＯＳを用いることができる。こうした撮像素子は、可視光域及び近赤外域（例えば波長が８７０ｎｍ程度）においても感度を有するものであるが、特に近赤外域に高い感度を有するタイプのものが好ましい。車両では、夜間の暗い状態や直射日光が入るような逆光下、また、同一画像内に明暗が混在する状況など様々な環境において画像処理に堪えうる画像を提供する必要があり、ダイナミックレンジが広いことが好ましい。

メイン投光器１２は、カメラ１１の近傍（車両のメータパネル）に設けられており、カメラ１１による撮影方向から運転者Ｄの顔面へ向けて（換言すれば、カメラ１１とほぼ同軸にて）近赤外光を照射する。

サブ投光器１３は、メイン投光器１２よりも上方の位置、具体的には、運転者Ｄの顔面の正面かつ上方（本実施形態では運転者の眼よりも上方の位置）から、その顔面へ向けて近赤外光を照射する。

ここで、図２は、車両の室内（車室内）におけるサブ投光器１３の配置を説明するための説明図である。また、図３は、車両に設けられる運転者側のサンバイザ２０の模式図である。

図２，図３に示すように、サブ投光器１３は、運転者側のサンバイザ２０の先端部に組み込まれている。
そして、図４は、サンバイザ２０の透過斜視図であり、図５は、サンバイザ２０の先端部の断面図である。

図４に示すように、サンバイザ２０は、鉛直方向に延びる軸部（以下「鉛直軸部」という。）２１ａと水平方向に延びる軸部（以下「水平軸部」という。）２１ｂとを有するＬ字型の支持部材２１によって車室内におけるフロントガラス２の上方位置に支持されている。そして、サンバイザ２０は、フロントガラス２の上部を通過して車室内へ入射しようとする光を遮る遮光位置と、その車室内へ入射しようとする光を取り込む非遮光位置（図４に示す位置）との間で、支持部材２１の水平軸部２１ｂを中心として手動により回転移動可能となっている（矢印ａ）。また、支持部材２１は、鉛直軸部２１ａが車両に対して回転可能に設けられている。このため、サンバイザ２０は、フロントガラス２の上部を通過して車室内へ入射しようとする光を遮る遮光位置から、サイドガラス３の上部を通過して車室内へ入射しようとする光を遮る位置へ移動可能となっている（矢印ｂ）。なお、サンバイザ２０には、バニティミラー２３（図２参照。）が設けられている。

サブ投光器１３は、図５にも示すように、サンバイザ２０の先端部に設けられ近赤外光を透過しつつ可視光をカットするスモーク樹脂カバー１３ａと、このスモーク樹脂カバー１３ａの内側において水平軸部２１ｂと平行な回転軸を中心として回転可能に支持されたリフレクタ付きの回路基板１３ｂと、回路基板１３ｂ上に複数個配置された近赤外ＬＥＤ１３ｃ，１３ｃ，…とを備えている。このようにスモーク樹脂カバー１３ａを設けることにより、近赤外ＬＥＤ１３ｃ，１３ｃ，…の発する光に可視光成分が含まれている場合にも、外観上、ＬＥＤ１３ｃ，１３ｃ，…が赤く光って見えないようにすることができる。

また、図４に示すように、回路基板１３ｂには、回転軸としてのシャフト１３ｄが形成されており、このシャフト１３ｄと、支持部材２１の水平軸部２１ｂとがベルト２２によって連結されている。このため、水平軸部２１ｂを中心としたサンバイザ２０の回転移動に伴い、当該サンバイザ２０に対する回路基板１３ｂの向き（換言すれば、近赤外ＬＥＤ１３ｃ，１３ｃ，…の向き）が変化する。具体的には、サンバイザ２０が非遮光位置に位置している状態では、回路基板１３ｂ上の近赤外ＬＥＤ１３ｃ，１３ｃ，…が運転者Ｄの顔面を向いた状態となるように構成されている。そして、サンバイザ２０の遮光位置への回転移動に伴い回路基板１３ｂもサンバイザ２０に対して回転移動することにより、サンバイザ２０が遮光位置に位置した状態となっても、回路基板１３ｂ上の近赤外ＬＥＤ１３ｃ，１３ｃ，…が運転者Ｄの顔面を向いた状態となるように構成されている。つまり、サンバイザ２０が遮光位置及び非遮光位置のいずれに位置していても、近赤外光が運転者Ｄの顔面へ向けて照射されるようになっている。なお、サンバイザ２０が遮光位置と非遮光位置との中間位置に位置している状態であっても近赤外ＬＥＤ１３ｃ，１３ｃ，…が運転者Ｄの顔面を常に向くようにするため、例えば、ベルト２２が架け渡される両側の回転軸の径の比率が途中で変化するように構成してもよい。

一方、図１に示すように、カメラ制御部１４は、カメラ１１による撮影のタイミング等を制御する。
投光制御部１５は、メイン投光器１２及びサブ投光器１３による近赤外光の照射タイミングや、照射する近赤外光の光量を制御する。

サンバイザセンサ１６は、サンバイザ２０の状態を検出する。具体的には、サンバイザ２０が非遮光位置に位置しているか否か、及び、非遮光位置に位置していない場合にはフロントガラス２側及びサイドガラス３側のうちいずれを遮光する位置となっているか、を検出する。なお、サンバイザセンサ１６は、周知のセンサ（例えば角度センサ）を用いて構成することができる。

システム調停部１７は、周知のＣＰＵ、ＲＯＭ、ＲＡＭ等を備えており、各種処理を実行する。
第１画像処理部１８は、カメラ１１により撮影された画像の前処理を行う。

第２画像処理部１９は、第１画像処理部１８によって前処理が行われた画像の後処理（顔面認証、脇見検知、居眠り検知、視線検知、体格・姿勢検知等のための画像解析）を行う。

次に、システム調停部１７が行う撮影処理について、図６のフローチャートを用いて説明する。なお、この撮影処理は、本撮影装置が起動することにより開始される。
本撮影処理が開始されると、まずＳ１１０で、撮影タイミングであるか否かを判定する。すなわち、本撮影装置では、顔面認証、脇見検知、居眠り検知、視線検知、体格・姿勢検知等の各処理を行うために、所定の撮影タイミングで（例えば一定時間ごとに）運転者Ｄの顔面をカメラ１１で撮影するようになっており、本Ｓ１１０では、その撮影タイミングとなったか否かを判定するのである。ここで、本撮影装置では、顔面認証、脇見検知、居眠り検知、視線検知、体格・姿勢検知等の各処理について個々のタイミングで撮影を行うのではなく、各処理で撮影画像を共用できるようにタイミングを合わせるようにしている。このため、各処理について個々のタイミングで撮影を行う場合に比べ、撮影回数を少なくすることができる。しかも、後述するように、メイン投光器１２及びサブ投光器１３はカメラ１１により撮影を行う際にのみ近赤外光を発するようにパルス駆動しているため、メイン投光器１２及びサブ投光器１３による消費電力を低減するとともに、長寿命化を図ることができる。

そして、Ｓ１１０の処理で撮影タイミングであると判定すると、Ｓ１２０へ移行し、サンバイザセンサ１６による検出情報に基づき、サンバイザ２０が非遮光位置に位置しているか否かを判定する。

このＳ１２０で、サンバイザ２０が非遮光位置であると判定した場合には、Ｓ１３０へ移行し、後述するＳ１８０の処理においてサブ投光器１３による投光量を演算するためのパラメータ（以下「演算用パラメータ」という。）をＰ１（Ｐ１≠０）に設定した後、Ｓ１８０へ移行する。なお、演算用パラメータの値が大きいほど、サブ投光器１３による投光量も大きくなる。

一方、Ｓ１２０で、サンバイザ２０が非遮光位置でないと判定した場合には、Ｓ１４０へ移行し、サンバイザセンサ１６による検出情報に基づき、サンバイザ２０がサイドガラス３側を遮光する位置に位置しているか否かを判定する。

そして、Ｓ１４０で、サンバイザ２０がサイドガラス側を遮光する位置であると判定した場合には、Ｓ１５０へ移行し、演算用パラメータを０に設定した後、Ｓ１８０へ移行する。このように演算用パラメータを０にすることで、後述するＳ１８０の処理においてサブ投光器１３による投光量が０と演算される（つまり、サブ投光器１３がオフ状態となる）。このように、サンバイザ２０がサイドガラス側を遮光する位置である場合にサブ投光器１３をオフ状態とするのは、サブ投光器１３からの近赤外光がメイン投光器１２に直接入射してしまうことを防ぐためである。

一方、Ｓ１４０で、サンバイザ２０がサイドガラス側を遮光する位置でないと判定した場合（つまり、フロントガラス２側を遮光する位置である場合）には、Ｓ１７０へ移行し、演算用パラメータをＰ２（Ｐ２＞Ｐ１）に設定した後、Ｓ１８０へ移行する。つまり、サンバイザ２０によってフロントガラス２の上部が遮られている場合（サンバイザ２０が開状態の場合）には、フロントガラス２の上部が遮られていない場合（サンバイザ２０が閉状態の場合）に比べ、サブ投光器１３による投光量が大きくなるようにしている。なお、フロントガラス２の上部が遮られていない場合には、サブ投光器１３がオフ状態となるようにしてもよい。

Ｓ１８０では、サブ投光器１３による近赤外光の投光量を演算する。本実施形態では、サンバイザの状態に応じて設定した演算用パラメータ（Ｓ１３０，Ｓ１５０，Ｓ１７０）と、第１画像処理部１８から出力される補正値とを乗算することにより投光量を求める。ここで、第１画像処理部１８から出力される補正値とは、前回カメラ１１で撮影した画像に基づき設定される値である。すなわち、第１画像処理部１８は、カメラ１１で撮影した画像に基づいて投光量の過不足を判断するようになっており、投光量が不足している場合には投光量を大きくするような補正値をシステム調停部１７に出力し、逆に投光量が過剰な場合には投光量を小さくするような補正値をシステム調停部１７に出力する。つまり、実際にカメラ１１で撮影した画像に基づき、サブ投光器１３による近赤外光の投光量をフィードバック制御するようになっている。具体的には、例えば、取得画像から影を認識したり、眼がうまく検出できない状況では照明条件を変えて撮影してみることにより、良好な画像となったかを比較してフィードバックする。なお、説明は省略しているが、画像処理に適した画像を得るためには、照明条件だけでなく、カメラ側の制御も組み合わせている。例えば、暗い環境下ではカメラのゲインを上げたり、明るすぎる状況下ではシャッタースピードを速めたりする。

続いて、Ｓ１９０では、運転者Ｄの顔面をカメラ１１で撮影するための撮影処理を行う。具体的には、メイン投光器１２及びサブ投光器１３による近赤外光の照射を投光制御部１５に行わせるとともに、カメラ１１による撮影をカメラ制御部１４に行わせる。

ここで、サブ投光器１３による近赤外光の照射は、上記Ｓ１８０で演算した投光量に基づいて行う。このため、演算した投光量の値が０の場合には、サブ投光器１３による近赤外光の照射が行われない。なお、サブ投光器１３による投光量の調整は、例えば、近赤外ＬＥＤ１３ｃ，１３ｃ，…の各発光量を一律に調整することにより行ってもよく、また、一部の近赤外ＬＥＤ１３ｃ，１３ｃ，…を消灯する（又は発光量を小さくする）ことにより行ってもよい。

また、本Ｓ１９０において、カメラ１１による撮影は、３０ｆｐｓ（１秒間に３０フレーム）の割合で一定時間行われる。そして、図７に示すように、メイン投光器１２及びサブ投光器１３による近赤外光の照射は、カメラ１１による撮影が開始されるタイミングよりも早いタイミングで開始し、カメラ１１による撮影が終了されるタイミングよりもやや遅いタイミングで終了する。なお、近赤外光の照射は、カメラ１１による撮影が終了されるタイミングと同時に終了するようにしてもよい。

こうしてＳ１９０で撮影処理が行われると、カメラ１１により撮影された画像のデータが第１画像処理部１８へ出力され、画像の前処理が行われる。さらに、前処理後の画像データが第１画像処理部１８から第２画像処理部１９へ出力され、画像の後処理が行われる。また、上述したように、画像データに基づいて設定された補正値が第１画像処理部１８からシステム調停部１７へ出力され、次回の投光量演算（Ｓ１８０）に用いられる。

なお、本実施形態の撮影装置では、カメラ１１が、本発明の撮影手段に相当し、メイン投光器１２が、本発明の第１の照射手段に相当し、サブ投光器１３が、本発明の第２の照射手段（発光手段）に相当し、サンバイザセンサ１６が、本発明のサンバイザ状態検出手段に相当し、撮影処理（図６）におけるＳ１２０〜Ｓ１８０の処理が、本発明の光量変更手段に相当し、Ｓ１８０の処理が、本発明の光量補正手段にも相当する。

以上説明したように、本実施形態の撮影装置では、車両の運転者Ｄの顔面をカメラ１１によりその正面かつ下方から撮影し、メイン投光器１２が、カメラ１１による撮影方向から（換言すれば、運転者Ｄの顔面の正面かつ下方から）その顔面へ向けて近赤外光を照射する。そして、本撮影装置では、サブ投光器１３が、運転者Ｄの顔面の正面かつ上方からその顔面へ向けて近赤外光を照射する。つまり、本撮影装置では、運転者Ｄの顔面正面の上方及び下方から近赤外光を照射する。このため、本撮影装置によれば、運転者Ｄの姿勢が変化した場合にも、顔面に影を生じにくくすることができる。しかも、本撮影装置では、サブ投光器１３によって照射される近赤外光の光量をサンバイザ２０の状態に応じて変更するようにしている（Ｓ１２０〜Ｓ１８０）。このため、本撮影装置によれば、良好な撮影結果を安定して得ることができる。特に、直射日光が入射されるような状況でサンバイザ２０を使用している場合には、顔面の上半分が暗く下半分が明るいといった状態となり、顔画像処理を行う上での特徴量として最も重要な眼が影となり画像処理上好ましくないが、本撮影装置によれば、サブ投光器１３の投光量を大きくすることにより良好な画像を撮影することが可能となる。

さらに、本撮影装置では、サブ投光器１３により照射される近赤外光の光量を、カメラ１１による撮影結果に基づいて補正するようにしている（Ｓ１８０）。このため、本撮影装置によれば、近赤外光の光量を適切な値にすることができる。

加えて、本撮影装置では、メイン投光器１２及びサブ投光器１３から近赤外光を照射するようにしているため、昼夜を問わずに良好な撮影結果を得ることができる。
以上、本発明の一実施形態について説明したが、本発明は、種々の形態を採り得ることは言うまでもない。

（Ａ）：例えば、上記実施形態の撮影装置では、ベルト２２を用いた構成により回路基板１３ｂを回転させるようにしているが（図４）、これに限ったものではなく、他の機械要素（歯車やカム等）を用いた構成により回路基板１３ｂを回転させるようにしてもよい。また、ベルト、ギアなどのリンクを使った機械要素ではなく、電気モータで直接適切な角度になるように駆動してもよい。

（Ｂ）：また、上記実施形態の撮影装置では、サンバイザ２０の状態や前回の撮影結果に基づき、サブ投光器１３により照射される近赤外光の光量のみを変更するようにしているが（Ｓ１８０）、これに限ったものではなく、メイン投光器１２により照射される近赤外光の光量についても変更するようにしてもよい。

（Ｃ）：また、上記実施形態の撮影装置では、サンバイザ２０の状態に基づきサブ投光器１３の光量を変更するようにしているが、これに限ったものではなく、その他の情報、例えば、日射センサによる検出情報（外部光の状態）に基づきサブ投光器１３の光量を変化させるようにしてもよい。

（Ｄ）：また、上記実施形態の撮影装置では、サンバイザ２０の状態に基づきサブ投光器１３の「光量」を変更するようにしているが（Ｓ１８０）、例えば、サブ投光器１３（又は、サブ投光器１３及びメイン投光器１２）の「投光タイミング」についても変更するようにしてもよい。

（Ｅ）：また、サブ投光器１３は、近赤外光に加え、可視光も発光する構成であってもよい。このようにすれば、サブ投光器１３をバニティミラー２３用の照明としても兼用することができる。

（Ｆ）：また、上記実施形態の撮影装置では、サブ投光器１３がサンバイザ２０の先端部に組み込まれた構成により、サブ投光器１３による近赤外光が運転者Ｄの撮影対象箇所の上方から照射される構成となっている。一方、サブ投光器による近赤外光をサンバイザ又はその近傍から照射する構成であっても、例えば車種の違い（サンバイザと運転席との位置関係の違い）等によっては、サブ投光器による近赤外光が運転者の撮影対象箇所（例えば運転者の顔面、特に眼）の上方以外から照射される構成（例えば運転者の撮影対象箇所に対して水平に又はやや下方から照射される構成）も考えられるが、このような構成においても、サンバイザ又はその近傍からの近赤外光の照射により撮影対象箇所に影のできにくい効果的な照明を行うことができる。ただし、上記実施形態の撮影装置のように、サブ投光器１３による近赤外光が運転者Ｄの撮影対象箇所の上方から照射される構成では、撮影対象箇所正面の上方及び下方から近赤外光が照射されることとなるため、撮影対象箇所に影を生じにくくするのに一層効果的である。

（Ｇ）：また、上記実施形態の撮影装置では、車両の運転者Ｄのみを撮影するようにしているが、これに限ったものではなく、例えば、助手席用のカメラ及び助手席用のメイン投光器を助手席正面のダッシュボード等に設け、助手席用のサブ投光器を助手席側のサンバイザ又はその近傍等に設けることにより、助手席の乗員を撮影するようにしてもよい。このように助手席の乗員を撮影する構成では、例えば、助手席側のエアバックの作動方法を助手席の乗員の状態（姿勢、体格等）に応じて変更する等の処理が可能となる。

（Ｈ）：また、上記実施形態の撮影装置は、顔面認証、脇見検知、居眠り検知、視線検知、体格・姿勢検知等の複数の処理を行う１つの装置であるが、これに限ったものではなく、例えば、各処理ごとに別体の装置であってもよい。この場合には、各装置をデータ通信可能に接続するとともに、１つの装置が上記実施形態のシステム調停部１７としての処理を行うことで、各処理で撮影タイミングを同期させる等、上記実施形態の撮影装置と同様の処理を行うことができる。

（Ｉ）：一方、上記実施形態の撮影装置では、手動により回転移動される構成のサンバイザ２０の先端にサブ投光器１３が設けられた構成としているが、サブ投光器１３の配置は例えば下記（Ｉ−１）〜（Ｉ−４）のようにしてもよい。

（Ｉ−１）：すなわち、図８に示すように、日射センサ等による検出情報に基づきサンバイザ３１を遮光位置と非遮光位置との間で自動的にスライド移動（矢印ｃ）させる構成の電動サンバイザ装置３０が設けられた車両の場合、電動サンバイザ装置３０におけるサンバイザ３１の先端部にサブ投光器１３を組み込み、非遮光位置においてもサンバイザ３１の先端部が露出するように構成する。この構成によれば、サンバイザ３１の位置に関係なく、サブ投光器１３から運転者Ｄの顔面へ向けて近赤外光を照射することができる。

（Ｉ−２）：また、図９に示すように、サンバイザ２０とは別体のサブ投光器４０を設けてもよい。具体的には、車両におけるフロントガラス２の上方位置（サンバイザ２０の近傍位置）であって、サンバイザ２０の回転軸上にサブ投光器４０を配置する。ここで、サブ投光器４０は、例えば図１０に示すように、アレイ状に複数個集積配置され、近赤外光を発する近赤外ＬＥＤ４１，４１，…と、近赤外ＬＥＤ４１，４１，…からの光を拡散することで照射光を均一にする拡散板４２と、近赤外光を透過しつつ可視光をカットするスモーク樹脂カバー４３とを備えた構成とすることができる。そして、図９に示す構成では、サンバイザ２０を遮光位置及び非遮光位置のいずれに位置させても、サブ投光器４０から運転者Ｄの顔面への近赤外光の照射がサンバイザ２０によって妨げられないようにすることができる。なお、本構成では、サブ投光器４０が、本発明の第２の照射手段（発光手段）に相当する。

（Ｉ−３）：また、図１１に示すように、近赤外光を透過して可視光を遮る構成のサンバイザ５０が設けられた車両においては、サブ投光器４０の配置の自由度を高くすることができる。すなわち、この構成では、サブ投光器４０がサンバイザ５０によって遮られる位置（換言すれば、サンバイザ５０によって覆われる位置）に配置されていても、サブ投光器４０の発する近赤外光がサンバイザ５０を透過して運転者Ｄの顔面へ向けて照射される。このため、サンバイザ５０が遮光位置に位置している状態でサンバイザ５０により遮られる位置（サンバイザ５０の近傍位置）にサブ投光器４０を設けることができる。なお、本構成では、サブ投光器４０が、本発明の第２の照射手段（発光手段）に相当する。

（Ｉ−４）：一方、フロントガラス２の上方位置（換言すれば、サンバイザの近傍位置又はサンバイザと一体で設けられる位置）とは異なる位置にサブ投光器４０を配置することも可能である。すなわち、図１２に示すように、サブ投光器４０が、車室内の天井部に設けられるオーバーヘッドモジュール４に組み込まれており、さらに、運転者側のサンバイザ６０には、近赤外光を反射するミラー６１（例えば、近赤外光を透過しつつ可視光をカットするスモーク樹脂カバーが表面に設けられた全反射ミラーや、近赤外光を反射し可視光を透過するホットミラー）が組み込まれている。そして、サブ投光器４０からの近赤外光を、サンバイザ６０に組み込まれたミラー６１によって運転者Ｄの顔面へ向けて反射することによって、サンバイザ６０から（この場合、運転者Ｄの顔面の正面かつ上方から）近赤外光を照射する。

この構成によれば、サブ投光器４０をフロントガラス２の上方位置（換言すれば、サンバイザの近傍位置又はサンバイザと一体で設けられる位置）に配置する必要がないため、サブ投光器４０の配置の自由度を極めて高くすることができる。特に、サブ投光器４０を、オーバーヘッドモジュール４における前方側（フロントガラス側）に配置することで、サブ投光器４０から運転者Ｄの顔面への近赤外光の光路が長くなることによる近赤外光の光量低下を抑えて消費電力を小さくすることができる。本構成では、サブ投光器４０及びミラー６１が、第２の照射手段に相当し、特に、サブ投光器４０が、発光手段に相当し、ミラー６１が、反射手段に相当する。

なお、図１２の構成において、サブ投光器４０は、車室内の照明を兼用したものであってもよい。つまり、サブ投光器４０により、近赤外光に加え、可視光も照射するようにするのである。このようにすれば、サブ投光器４０と車室内の照明とを別々に設ける場合に比べ、オーバーヘッドモジュール４を小さく構成することができる。また、車室内照明用で使用するリフレクタなどの光学部品と一括成型することや、ケースなどの樹脂製品や電気回路など共用可能な構成がオーバーヘッドモジュール４内に既に備わっていることにより、サブ投光器４０を別途単独で備える構成とする場合に比べて部品点数を低減することができる。

ただし、この場合には、運転者Ｄがまぶしく感じてしまうことを防ぐため、ミラー６１が可視光については反射しないように構成されていることが好ましい。具体的には、サブ投光器４０から照射された可視光の少なくとも一部を吸収するとともにサブ投光器４０によって照射された近赤外光を透過させる可視光カットフィルタを、サブ投光器４０によって照射される近赤外光がミラー６１へ向かう光路上に配置することが考えられる。このようにすれば、運転中の運転者がサブ投光器４０からの可視光によってまぶしく感じてしまうことを防ぐことができる。

また、サブ投光器４０から照射された光を集光するためのリフレクタを近赤外光のみ反射するように構成することが考えられる。すなわち、サブ投光器４０を覆うようにリフレクタを形成し、サブ投光器４０によって照射された近赤外光をミラー６１へ向けて反射するとともに、サブ投光器４０によって照射された可視光をミラー６１へ向けては反射せず透過させるよう構成されていることが考えられる。なお、リフレクタを、可視光を遮るためのシャッター機構を有するように構成してもよい。

また、図１２の構成では、サブ投光器４０からの近赤外光をサンバイザ６０に組み込まれたミラー６１によって反射するようにしているが、これに限ったものではなく、例えばフロントガラス２（具体的には、フロントガラス２における上部位置（サンバイザの近傍））で反射するようにしてもよい。具体的には、所望の波長の近赤外光を反射するＩＲ反射フィルムを、フロントガラス２の内部に中間膜として配置することにより、ＩＲ反射フィルムによって近赤外光を運転者の顔へ向けて反射するように構成してもよい。また、ＩＲ反射フィルムを、フロントガラス２の室内側の表面や車外側の表面に貼ることにより、ＩＲ反射フィルムによって近赤外光を運転者の顔へ向けて反射するように構成してもよい。この構成によれば、サンバイザ６０の状態に関係なく、サブ投光器４０からの近赤外光を運転者Ｄの顔面へ向けて照射することができる。

また、図１２の構成では、サンバイザ６０の角度によって近赤外光の照射方向が変化してしまう。そこで、例えば、サンバイザ６０の姿勢に基づき、サブ投光器４０（又は内部の近赤外ＬＥＤ４１，４１，…）の位置／姿勢を制御するようにしてもよい。具体的には、図１３（ａ）に例示するように、サブ投光器６０の位置／姿勢を制御する位置・姿勢制御装置７０が、姿勢検出手段としての画像認識部７１、算出手段としての算出部７２、位置・姿勢制御手段としての制御部７３、駆動手段としての駆動部７４を備える。なお、位置・姿勢制御装置７０は、オーバーヘッドモジュール４内部に設置されてもよいし、車両の天井内部などのオーバーヘッドモジュール４外部に設置されてもよい。このうち、画像認識部７１は、撮影画像に基づいてサンバイザ６０の姿勢を認識するよう構成されている。また、算出部７２は、通常のコンピュータで構成されている。さらに、制御部７３は、算出部７２と同様に、通常のコンピュータで構成されている。また、駆動部７４は、モータの駆動力によりサブ投光器４０を車両の前後方向に移動させるよう構成されている。

このように構成された位置・姿勢制御装置７０が実行する位置・姿勢制御処理を、図１３（ｂ）のフローチャートを用いて説明する。まず、画像認識部７１が、サンバイザ６０の姿勢を検出する（Ｓ２１０）。続いて、算出部７２が、画像認識部７１によって検出されたサンバイザ６０の姿勢に基づいて、サブ投光器４０の位置を車両の前後方向に変化させる移動量を算出する（Ｓ２２０）。続いて、制御部７３が、算出部７２によって算出された移動量に基づいて、駆動部７４を制御することにより、サブ投光器４０の位置を車両の前後方向に変化させる（Ｓ２３０）。このようにサブ投光器４０の位置を車両の前後方向に変化させることにより、近赤外光の照射範囲を拡大・縮小するよう調整することができる。

また、サブ投光器４０の位置を車両の左右方向に変化させるようにしてもよい。具体的には、上述の駆動部７４を、サブ投光器４０を車両の前後方向に移動させるよう構成する代わりに、サブ投光器４０を車両の左右方向に移動させるよう構成する。そして、算出部７２が、画像認識部７１によって検出されたサンバイザ６０の姿勢に基づいて、サブ投光器４０の位置を車両の左右方向に変化させる移動量を算出する。さらに、制御部７３が、算出部７２によって算出された移動量に基づいて、駆動部７４を制御することにより、サブ投光器４０の位置を車両の左右方向に変化させる。

また、サブ投光器４０の位置を車両の上下方向に変化させるようにしてもよい。具体的には、上述の駆動部７４を、サブ投光器４０を車両の前後方向に移動させるよう構成する代わりに、サブ投光器４０を車両の上下方向に移動させるよう構成する。そして、算出部７２が、画像認識部７１によって検出されたサンバイザ６０の姿勢に基づいて、サブ投光器４０の位置を車両の上下方向に変化させる移動量を算出する。さらに、制御部７３が、算出部７２よって算出された移動量に基づいて、駆動部７４を制御することにより、サブ投光器４０の位置を車両の上下方向に変化させる。

また、サブ投光器４０の姿勢を変化させるようにしてもよい。具体的には、サブ投光器４０を、オーバーヘッドモジュール４に対して車両の左右方向を回転軸として回転移動可能に取り付け、駆動部７４によって回転駆動可能に構成する。そして、算出部７２が、画像認識部７１によって検出されたサンバイザ６０の姿勢に基づいて、サブ投光器４０の姿勢を変化させる変化量を算出する。そして、制御部７３が、算出部７２によって算出された変化量に基づいて、駆動部７４を制御することにより、サブ投光器４０を、回転軸１１７を中心にして回転させてその姿勢を変化させる。なお、車両の前後方向に対して略平行な方向を回転軸としたり、車両の上下方向に対して略平行な方向を回転軸としたりしてもよい。

以上のように構成することで、近赤外光の照射範囲や照射する方向を、状況に応じて調整することができる。なお、姿勢検出手段として、画像認識部７１を備える代わりに、例えば超音波センサを利用した物体認識など別の手段を備えるようにしてもよいし、また、例えば乗員検知センサや、ドライバーモニタリング監視センサなどの電動ミラーを制御するために利用される各種センサを利用するように構成してもよい。

また、図１２の構成では、サブ投光器４０が車両の天井部に設けられるオーバーヘッドモジュール４に組み込まれているが、これに限ったものではなく、オーバーヘッドモジュール４とは別の位置、例えば、車両の天井部におけるオーバーヘッドモジュール４の近傍位置に配置されるようにしてもよい。
（Ｊ）：一方、上記実施形態の撮影装置では、カメラ１１及びメイン投光器１２が車両のメータパネルに設けられており、サブ投光器１３がサンバイザ２０に組み込まれているが、これに限ったものではない。例えば、上記実施形態の構成とは逆に、カメラ及びメイン投光器がサンバイザ又はその近傍（例えば、インナーミラー内）に設けられており、サブ投光器が車両のメータパネルに設けられていてもよい。このような構成であっても、メイン投光器による近赤外光が運転者の撮影対象箇所の正面かつ上方からその撮影対象箇所へ向けて照射され、サブ投光器による近赤外光が運転者の運転対象箇所の正面かつ下方からその撮影対象箇所へ照射されるため、撮影対象箇所の上方及び下方から近赤外光を照射することできる。

実施形態の撮影装置の概略構成を表すブロック図である。 車室内におけるサブ投光器の配置を説明するための説明図である。 車両に設けられる運転者側のサンバイザの模式図である。 サンバイザの透過斜視図である。 サンバイザの先端部の断面図である。 撮影処理のフローチャートである。 近赤外光の照射タイミングとカメラによる撮影タイミングとの関係を示す説明図である。 電動サンバイザに適用した場合の説明図である。 サンバイザの回転軸上にサブ投光器を配置した構成の説明図である。 サブ投光器の構造を説明するための模式図である。 近赤外光を透過するサンバイザに適用した場合の説明図である。 サブ投光器をオーバーヘッドモジュールに組み込んだ構成の説明図である。 位置・姿勢制御装置の説明図である。

符号の説明

２…フロントガラス、３…サイドガラス、１１…カメラ、１２…メイン投光器、１３…サブ投光器、１３ａ…スモーク樹脂カバー、１３ｂ…回路基板、１３ｃ…近赤外ＬＥＤ、１３ｄ…シャフト、１４…カメラ制御部、１５…投光制御部、１６…サンバイザセンサ、１７…システム調停部、１８…第１画像処理部、１９…第２画像処理部、２０…サンバイザ、２１…支持部材、２１ａ…鉛直軸部、２１ｂ…水平軸部、２２…ベルト

Claims (17)

1. 車両の乗員における撮影対象箇所を撮影する撮影手段と、
   該撮影手段による撮影方向から前記撮影対象箇所へ向けて近赤外光を照射する第１の照射手段と、
   を備えた撮影装置において、
   前記第１の照射手段とは異なる方向から前記撮影対象箇所へ向けて近赤外光を照射する第２の照射手段と、
   前記車両に設けられた移動可能なサンバイザの移動状態を検出するサンバイザ状態検出手段と、
   該サンバイザ状態検出手段による検出結果に基づいて、前記第１の照射手段及び前記第２の照射手段のうちの少なくとも一方によって照射される近赤外光の光量を変更する光量変更手段と、
   を備えたことを特徴とする撮影装置。
2. 請求項１に記載の撮影装置において、
   前記撮影手段は、前記撮影対象箇所をその正面かつ下方から撮影するものであり、
   前記第２の照射手段は、前記撮影対象箇所の正面かつ上方から該撮影対象箇所へ向けて近赤外光を照射すること、
   を特徴とする撮影装置。
3. 請求項１に記載の撮影装置において、
   前記第２の照射手段は、前記車両に設けられるサンバイザ又はその近傍から前記撮影対象箇所へ向けて近赤外光を照射すること、
   を特徴とする撮影装置。
4. 請求項１に記載の撮影装置において、
   前記撮影手段は、前記撮影対象箇所をその正面かつ上方から撮影するものであり、
   前記第２の照射手段は、前記撮影対象箇所の正面かつ下方から該撮影対象箇所へ向けて近赤外光を照射すること、
   を特徴とする撮影装置。
5. 請求項１に記載の撮影装置において、
   前記第１の照射手段は、前記車両に設けられるサンバイザ又はその近傍から前記撮影対象箇所へ向けて近赤外光を照射すること、
   を特徴とする撮影装置。
6. 請求項２又は請求項３に記載の撮影装置において、
   前記第２の照射手段は、前記車両におけるフロントガラスの上方位置で近赤外光を発する発光手段であること、
   を特徴とする撮影装置。
7. 請求項４又は請求項５に記載の撮影装置において、
   前記第１の照射手段は、前記車両におけるフロントガラスの上方位置で近赤外光を発する発光手段であること、
   を特徴とする撮影装置。
8. 請求項６又は請求項７に記載の撮影装置において、
   前記発光手段は、近赤外光に加え、可視光も発光すること、
   を特徴とする撮影装置。
9. 請求項６ないし請求項８のいずれか１項に記載の撮影装置において、
   前記車両に設けられるサンバイザは、該車両のフロントガラス上部を通過して車室内へ入射しようとする光を遮る遮光位置と、該車室内へ入射しようとする光を取り込む非遮光位置との間で回転移動可能に構成されており、
   前記発光手段は、前記サンバイザが回転移動する回転軸上に設けられていること、
   を特徴とする撮影装置。
10. 請求項６ないし請求項８のいずれか１項に記載の撮影装置において、
    前記発光手段は、前記車両に設けられるサンバイザに組み込まれていること、
    を特徴とする撮影装置。
11. 請求項１０に記載の撮影装置において、
    前記サンバイザは、前記車両のフロントガラス上部を通過して車室内へ入射しようとする光を遮る遮光位置と、該車室内へ入射しようとする光を取り込む非遮光位置との間で回転移動可能に構成されており、
    前記発光手段は、前記サンバイザの回転移動位置に応じて該サンバイザに対する向きが変化するように構成されていること、
    を特徴とする撮影装置。
12. 請求項６又は請求項７に記載の撮影装置において、
    前記車両に設けられるサンバイザは、少なくとも近赤外光を透過するものであり、
    前記発光手段は、前記サンバイザによって遮られる位置に設けられていること、
    を特徴とする撮影装置。
13. 請求項２又は請求項３に記載の撮影装置において、
    前記第２の照射手段は、
    前記車両の天井部で近赤外光を発する発光手段と、
    該発光手段からの光を前記撮影対象箇所へ向けて反射する反射手段と、
    を備えていることを特徴とする撮影装置。
14. 請求項４又は請求項５に記載の撮影装置において、
    前記第１の照射手段は、
    前記車両の天井部で近赤外光を発する発光手段と、
    該発光手段からの光を前記撮影対象箇所へ向けて反射する反射手段と、
    を備えていることを特徴とする撮影装置。
15. 請求項１３又は請求項１４に記載の撮影装置において、
    前記反射手段は、前記車両に設けられるサンバイザに組み込まれていること、
    を特徴とする撮影装置。
16. 請求項１５に記載の撮影装置において、
    前記反射手段は、可視光の反射を防止しつつ近赤外光を反射すること、
    を特徴とする撮影装置。
17. 請求項１ないし請求項１６のいずれか１項に記載の撮影装置において、
    前記撮影手段による撮影結果に基づいて、前記第１の照射手段及び前記第２の照射手段のうちの少なくとも一方によって照射される近赤外光の光量を補正する光量補正手段を備えたこと、
    を特徴とする撮影装置。

Images