JP2009096323A - カメラ照明制御装置 - Google Patents

Abstract

【課題】 瞳孔抽出に最適な光源投光量にすることが、コストの増加を抑制しつつできるカメラ照明制御装置を提供すること。
【解決手段】 近赤外線カメラ部６１の光軸を算出するステップＳ１の処理と、ドライバの体軸を算出するステップＳ２の処理と、ドライバの顔位置を演算するステップＳ３の処理と、近赤外線カメラ部６１とドライバ顔位置との距離を演算するステップＳ４の処理と、外光強度を日射センサ８から得る情報に基づいて算出するステップＳ５の処理と、撮像距離と外光強度に基づいて近赤外線投光器３の出力を演算するステップＳ６の処理を行う出力計算部２を備えた。
【選択図】 図１

Description

本発明は、車両におけるドライバの視線を検知するために用いられるカメラのカメラ照明制御装置の技術分野に属する。

従来においては、瞳孔反射像を撮像する際、カメラの光軸上にない光源を用いて暗瞳孔反射像を撮像し、カメラの光軸上に光源を配置して明瞳孔反射像を撮像し、この２つの像の処理により、ドライバの視線を検出している（例えば、特許文献１参照。）。
また、明瞳孔画像と暗瞳孔画像の差分画像により、マーカー等を用いることなく瞳孔位置を検出しているものもある（例えば、特許文献２参照。）。
特開平１１−２６３１４５号公報（第２−５頁、全図） 特開２００５−３４８８３２号公報（第２−９頁、全図）

しかしながら、従来のカメラ照明制御装置にあっては、光源の投光量を適切にすることが充分ではなかった。

本発明は、上記問題点に着目してなされたもので、その目的とするところは、瞳孔抽出に最適な光源投光量にすることが、コストの増加を抑制しつつできるカメラ照明制御装置を提供することにある。

上記目的を達成するため、本発明では、ドライバの視線検出を行うために、ドライバ瞳孔の明瞳孔画像と暗瞳孔画像を撮像するカメラの近傍からドライバの瞳孔へ近赤外線の投光を行うカメラ照明の制御を行うカメラ照明制御装置において、前記カメラの光軸を車両装置から得る情報に基づいて算出するカメラ光軸演算手段と、前記ドライバの体軸を車両装置から得る情報に基づいて算出するドライバ体軸演算手段と、前記カメラ光軸と前記ドライバ体軸からドライバの顔位置を演算するドライバ顔位置演算手段と、前記カメラと前記ドライバ顔位置との距離を演算する撮像距離演算手段と、外光強度を車両装置から得る情報に基づいて算出する外光強度算出手段と、前記撮像距離と前記外光強度に基づいて前記カメラ照明の出力を演算する出力演算手段と、を備えたことを特徴とする。

よって、本発明にあっては、瞳孔抽出に最適な光源投光量にすることが、コストの増加を抑制しつつできる。

以下、本発明のカメラ照明制御装置を実現する実施の形態を、請求項１，２，３に係る発明に対応する実施例１に基づいて説明する。

まず、構成を説明する。
図１は実施例１のカメラ照明制御装置のブロック構成を示す図である。
実施例１のカメラ照明制御装置１は、出力計算部２、近赤外線投光器３、ステアリング調整機構部４、シート調整機構部５を主要な構成としている。
出力計算部２は、運転席のパワーシートの状態、ステアリング位置、それぞれの位置関係からドライバの体軸を算出し、カメラからドライバまでの距離を算出する。そして、日射の外光強度を得て、最適な赤外線投光量を算出し、出力する。
近赤外線投光器３は、入力された最適な赤外線投光量の算出値に従って、瞳孔検出用カメラにおける近赤外線の投光を行う。詳細は後述する。

ステアリング調整機構部４は、チルト角出力部４１と、テレスコピック部４２を備え、ステアリング位置の情報を出力計算部２へ出力する。
チルト角出力部４１は、ステアリング位置として調整するチルト角の調整位置を出力計算部２へ出力する。
テレスコピック部４２は、ステアリング位置として調整するステアリング前後位置の調整位置を出力計算部２へ出力する。

シート調整機構部５は、シート前後位置出力部５１とリクライニング角出力部５２を備え、パワーシートの状態の情報を出力計算部２へ出力する。
シート前後位置出力部５１は、パワーシートの調整として、シート前後位置の情報を出力計算部２へ出力する。
リクライニング角出力部５２は、パワーシートの調整として、シートのリクライニング角の情報を出力計算部２へ出力する。

次に、近赤外線投光器を用いているカメラの概略構造について説明する。
図２は、近赤外線カメラの概略構造を示す説明図である。
実施例１のカメラ照明制御装置１が照明制御を行う近赤外線カメラ部６は、近赤外線カメラ部６１と、２つの近赤外線光源を組合せたカメラである。
近赤外線カメラ部６１には、可視光カットフィルタを備えたカメラ部分の周囲を囲むように、近赤外線を発光するLEDを複数配置する。これにより、インナーLED部３１を形成する。インナーLED部３１は、近赤外線カメラ部６１と同軸での投光を行う。つまり、明瞳孔画像を撮像するための光源となる。

次に、２つの近赤外線光源は、近赤外線カメラ部６１と別体に設けられた光源であり、それぞれに複数LEDを配置して、アウターLED部３２ａ、３２ｂを構成する。アウターLED部３２ａ、３２ｂは、近赤外線カメラ部６１と離れた別の光軸での投光を行う。つまり、暗瞳孔画像を撮像するための光源となる。
なお、近赤外線カメラ部６１の出力映像は、NTSC方式によるものとし、これを受ける視線検知装置１２により、画像を処理して視線検出を行う。

次に、近赤外線カメラ、近赤外線投光器等の車両設置状態を説明する。
図３は車両の設置状態を示す説明図である。
ドライバｈが着座するシートは、いわゆるパワーシート７であり、位置調整は電動で行われる。パワーシート７は、上記説明したシート調整機構部５を備えている。
インストパネル９の上面には、エアコンシステムが用いるセンサとして、日射センサ８が設けられている。
ステアリングホイール１０の配置部分は、調整のために上記説明したステアリング調整機構部４を備えている。そして、ステアリングホイール１０の前後に貫通した部分を通して、ドライバｈの目近傍の画像を撮像するよう近赤外線カメラ部６が、ステアリングコラム１１の上面に配置されている。

ここで、パワーシート７、日射センサ８、ステアリングホイール１０、に関する位置、状態情報は、他の装置で本来使用されるものであり、コストを増加させることなく、本実施例１の出力計算部２は情報を得ることが可能となる。

作用を説明する。
[ドライバ視線検知用のカメラ照明制御]
図４に示すのは、実施例１のカメラ照明制御装置の出力計算部で実行されるドライバ視線検知用のカメラ照明制御処理の流れを示すフローチャートで、以下各ステップについて説明する。

ステップＳ１では、ステアリング調整機構部４のチルト角情報、テレスコピック情報から、近赤外線カメラ部６１のカメラ光軸を算出する。

ステップＳ２では、シート調整機構部５のシート前後位置情報、リクライニング角情報から、ドライバの体軸、つまり、体から頭を通るよう設定したものであり、ドライバの視線を決定するためのドライバの中心線を算出する。

ステップＳ３では、近赤外線カメラ部６１のカメラ光軸と、ドライバ体軸からドライバの顔の位置を算出する。

ステップＳ４では、ドライバの顔の位置と近赤外線カメラ部６１の位置との距離を算出する。

ステップＳ５では、日射センサ８からの情報により外光強度を検出する。

ステップＳ６では、近赤外線投光器３が投光する近赤外線の強度を算出し、出力する。

[瞳孔検出作用]
図５は明瞳孔状態と暗瞳孔状態の説明図である。図６は瞳孔検出の各状態の説明図である。
実施例１のカメラ照明制御装置を用いるドライバの視線検出では、明瞳孔状態と暗瞳孔状態の画像を用いる。
明瞳孔状態（明瞳孔現象）は、近赤外線カメラ部６１の光軸の近くに光源として、インナーLED部３１を配置することにより、撮像される瞳孔（角膜）が光って見える状態である（図５(a)参照）。これは可視光カメラ撮影時のいわゆる赤目現象と同様の発生原理である。このようにして撮像した画像を明瞳孔画像１０１とする。

これに対し、暗瞳孔状態（暗瞳孔現象）は、近赤外線カメラ部６１の光軸から離れた位置に光源として、アウターLED部３２ａ、３２ｂを配置する。これにより撮像される瞳孔（角膜）は暗く写って見える状態となる（図５(b)参照）。このようにして撮像した画像を暗瞳孔画像１０２とする。

実施例１のドライバの視線検出では、明瞳孔画像１０１、暗瞳孔画像１０２の差画像１０３を近赤外線カメラ部６によりそれぞれ、ほぼ同時刻、同位置で撮像し、視線検知装置１２に入力する。
視線検知装置１２では、明瞳孔画像１０１と暗瞳孔画像１０２からそのデータの差、つまり、瞳孔が光っている画像と瞳孔が暗い画像のように変化分（差分）を抽出した差画像１０３を生成する。
そして、この差画像１０３を所定のしきい値で二値化処理して二値化画像１０４を生成する。すると、明瞳孔画像１０１と暗瞳孔画像１０２の差が、２つの画像の主な差であるので、瞳孔の候補が検出されることになる。ここから、さらに、近接する２点のみを瞳孔とするなどの処理を行って瞳孔位置が検出される。固定されたカメラ位置と瞳孔位置の関係から視線は確定する。これにより、例えば、ドライバのよそ見などを検知することが可能になる。

[カメラ照明制御作用]
明/暗瞳孔法と呼ばれるこの視線検出は、比較的シンプルである。この視線検出では、適切な光量の赤外線の投光が行われることが必要である。
例えば、赤外線の投光量が強すぎれば、撮影画像が白くなりすぎる（白く飛ぶ）画像となり、瞳孔が抽出できない。逆に近赤外線の投光量が弱すぎれば、近赤外線投光が外光（外乱）に負けてしまい、明瞳孔状態（明瞳孔現象）を得ることができなくなる。

図７はドライバの顔位置の説明図である。図８、図９はドライバの顔位置の算出に関する説明図である。
近赤外線カメラ部６は、ステアリングコラム１１の上面に固定されている。そのため、ステアリング調整機構部４の調整と一体となってカメラ位置が移動することになる。
つまり、ドライバがステアリングの調整位置を扱いやすい位置に調整すれば、同時にカメラ位置もドライバに合わせた位置に調整される。

そのため、実施例１では、ステアリング調整機構部４のチルト角出力部４１からのチルト角情報（チルト角α）、テレスコピック部４２からのステアリング前後位置情報（調整位置Ａ）を得る。そして、この情報から近赤外線カメラ部６の近赤外線カメラ部６１のカメラ光軸２０１を算出する（ステップＳ１の処理、図８、図９参照）。
なお、近赤外線カメラ部６１はステアリングコラム１１の上面に固定されているため、カメラ光軸の角度は、チルト角αと同じ角度になる。異なる角度とした場合には、調整されたチルト角αにその差を加減した角度となる。
つまり、実施例１では、ステアリング調整の位置の記憶、又は位置変更の制御のために検出されるチルト角、前後位置からコストを抑制してカメラ光軸２０１を算出する。

次に、シート調整機構部５のシート前後位置出力部５１からのシートの前後位置（調整位置Ｂ）と、リクライニング角出力部５２からのリクライニング角βの情報を得る。
そして、この情報からドライバの体軸２０２を算出する（ステップＳ２の処理、図８、図９参照）。

ドライバの体軸２０２、及びドライバの顔位置は、パワーシートのシート前後位置、リクライニング角により、図７(a),(b)のように変化する。実施例１では、広く普及しているパワーシートがドライバ位置を記憶することや、位置変更制御のために検出するシート前後位置、リクライニング角βを得てドライバの体軸２０２を、コストを抑制して算出する。

次に、図６に示すように、カメラ光軸２０１とドライバ体軸２０２の交点位置を求め、ドライバ顔位置２０３とする（ステップＳ３、図９参照）。
そして、ドライバ顔位置２０３と、近赤外線カメラ部６１との距離Ｃを算出する（ステップＳ４）。
さらに、空調システムのために設けられる日射センサ８からの外光強度（ステップＳ５）と、ドライバ顔位置２０３と近赤外線カメラ部６１との距離Ｃから、近赤外線投光器３として設けられたインナーLED部３１、アウターLED部３２ａ、３２ｂの近赤外線の投光強度を算出する。

これにより、外光の状態とドライバの顔までの距離Ｃを正確に得て、近赤外線の投光強度を決定することになり、確実に、明瞳孔画像と暗瞳孔画像を得ることができる。さらに、既存の装置から得る情報によって、コストが非常に抑制される。

さらに説明する。
ドライバ顔位置２０３と近赤外線カメラ部６１との距離が近い場合には、近赤外線投光器３の出力はダウンさせる。これは、ドライバの顔に投光が届くよう出力レベルを調整するものである。距離が近いことによる強い投光により画像が白とび（真っ白な画像になる）しないように出力を下げる。

次に、ドライバ顔位置２０３と近赤外線カメラ部６１との距離が遠い場合は、近赤外線投光器３の出力はアップさせる。これは、ドライバの顔に投光が届くよう出力レベルを調整するものである。距離が遠いことにより投光が減衰してしまうので、その分出力を上げる。

次に、外光強度が弱い場合には、近赤外線投光器３の出力はダウンさせる。ｌこれは、外光に投光が負けてしまい、外光に投光がまぎれて明瞳孔画像が生じないことがないように出力レベルを調整するものである。つまり、この場合には投光が外光にまぎれてしまうことがないので出力を下げる。

次に、外光強度が強い場合には、近赤外線投光器３の出力はアップさせる。これは、外光に投光が負けてしまい、外光に投光がまぎれて明瞳孔画像が生じないことがないように出力レベルを調整するものである。つまり、この場合には投光が外光にまぎれてしまうことを防ぐために出力を上げる。
なお、これらの出力調整は人体への影響を配慮した範囲で行われる。

実施例１のカメラ照明制御装置に対して、別の距離測定用のセンサを設けることを考える。すると、例えば、助手席の荷物を探ろうとしてかがんでいた場合、ヘッドレストまでの距離を顔までの距離と認識してしまう。
これに対し、実施例１では、シートに対して、図７(a),(b)に示すような適度な位置に、ドライバ体軸２０２があるとする。そうすれば、ヘッドレストまでの距離を顔までの距離と認識するようなことはない。

また、実施例１のカメラ照明制御装置に対して、撮像した画像の輝度から自動補正を行うことを考える。すると、カメラの映像が遮られ、画面が真っ暗になると、その度に補正が必要になり画像の変動が大きなものになってしまう。
実施例１では、このように自動補正を行うものではないため、カメラの映像が遮られるようなことがあっても、算出され、出力される近赤外線に大きな変動が生じることはない。

また、このような自動補正では、実施例１のようなカメラ位置にすると、ステアリング操作時にステアリングホイール１０の回転軸からの支持部が、頻繁にカメラを遮ることになる。実施例１では、このような現象があっても問題は生じない。

また、実施例１のカメラ照明制御装置に対して、現在の撮像画像の明るさから計算し、次のフレームの画像で投光出力を変更するフィードバック方式を考える。フィードバック方式では、画像が明るければ出力を弱くし、画像が暗ければ出力を強くすることになる。このフィードバック方式では、フレームごとに段階的に出力を調整するために最適な出力値となるまでに時間がかかることになる。

また、カメラをステアリングコラムに搭載した場合には、ステアリング操作によりカメラ視界が遮られ真っ暗になることが頻繁に生じる。また、操作中の手が近赤外線投光器の近くに来た場合、手に強い投光が当たって画面が真っ白になることなどが頻繁に生じる。こういった極端な明るさの画像から、通常の画像に復帰する際に単純なフィードバック制御を行うと時間がかかってしまう。
実施例１では、あらかじめ顔までの距離、外光強度から投光量の最適値を求めるため、通常の状態への復帰は非常に速くなる。

次に、効果を説明する。
実施例１のカメラ照明制御装置にあっては、下記に列挙する効果を得ることができる。

(1)ドライバの視線検出を行うために、ドライバ瞳孔の明瞳孔画像と暗瞳孔画像を撮像する近赤外線カメラ部６１の近傍からドライバの瞳孔へ近赤外線の投光を行う近赤外線投光器３の制御を行うカメラ照明制御装置１において、近赤外線カメラ部６１の光軸をステアリング調整機構部４から得る情報に基づいて算出するステップＳ１の処理と、ドライバの体軸をシート調整機構部５から得る情報に基づいて算出するステップＳ２の処理と、カメラ光軸とドライバ体軸からドライバの顔位置を演算するステップＳ３の処理と、近赤外線カメラ部６１とドライバ顔位置との距離を演算するステップＳ４の処理と、外光強度を日射センサ８から得る情報に基づいて算出するステップＳ５の処理と、撮像距離と外光強度に基づいて近赤外線投光器３の出力を演算するステップＳ６の処理を行う出力計算部２を備えたため、瞳孔抽出に最適な光源投光量にすることが、コストの増加を抑制しつつできる。

(2)近赤外線カメラ部６１はステアリングコラム１１に取付けるようにし、出力計算部２によるステップＳ１の処理は、ステアリング調整機構部４のチルト角出力部４１からのチルト角、テレスコピック部４２からのステアリングの前後位置に基づいてカメラ光軸を算出するため、既存のステアリング調整機構部４からの情報によりコストを抑制して、瞳孔抽出に最適な光源投光量にすることができる。

(3)出力計算部２によるステップＳ２の処理は、パワーシートのシート調整機構部５のシート前後位置出力部５１からのシート前後位置、リクライニング角出力部５２からのリクライニング角に基づいてドライバ体軸を算出するため、既存のシート調整機構部５からの情報によりコストを抑制して、瞳孔抽出に最適な光源投光量にすることができる。

以上、本発明のカメラ照明制御装置を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
カメラ光軸、ドライバ体軸の演算には、さらに他の車両装置からの情報を得て演算するようにしてもよい。その場合、車両装置は既存の装置であることが望ましい。

実施例１のカメラ照明制御装置のブロック構成を示す図である。 近赤外線カメラの概略構造を示す説明図である。 車両の設置状態を示す説明図である。 実施例１のカメラ照明制御装置の出力計算部で実行されるドライバ視線検知用のカメラ照明制御処理の流れを示すフローチャートである。 明瞳孔状態と暗瞳孔状態の説明図である。 瞳孔検出の各状態の説明図である。 ドライバの顔位置の説明図である。 ドライバの顔位置の算出に関する説明図である。 ドライバの顔位置の算出に関する説明図である。

符号の説明

１ カメラ照明制御装置
２ 出力計算部
３ 近赤外線投光器
３１ インナーLED部
３２ａ アウターLED部
３２ｂ アウターLED部
４ ステアリング調整機構部
４１ チルト角出力部
４２ テレスコピック部
５ シート調整機構部
５１ シート前後位置出力部
５２ リクライニング角出力部
６ 近赤外線カメラ部
６１ 近赤外線カメラ
７ パワーシート
８ 日射センサ
９ インストパネル
１０ ステアリングホイール
１１ ステアリングコラム
１２ 視線検知装置
１０１ 明瞳孔画像
１０２ 暗瞳孔画像
１０３ 差画像
１０４ 二値化画像
２０１ カメラ光軸
２０２ ドライバ体軸
２０３ ドライバ顔位置
Ａ （ステアリング）調整位置
Ｂ （シート）調整位置
Ｃ （カメラと顔の）距離
ｈ ドライバ
α チルト角
β リクライニング角

Claims (3)

1. ドライバの視線検出を行うために、ドライバ瞳孔の明瞳孔画像と暗瞳孔画像を撮像するカメラの近傍からドライバの瞳孔へ近赤外線の投光を行うカメラ照明の制御を行うカメラ照明制御装置において、
   前記カメラの光軸を車両装置から得る情報に基づいて算出するカメラ光軸演算手段と、
   前記ドライバの体軸を車両装置から得る情報に基づいて算出するドライバ体軸演算手段と、
   前記カメラ光軸と前記ドライバ体軸からドライバの顔位置を演算するドライバ顔位置演算手段と、
   前記カメラと前記ドライバ顔位置との距離を演算する撮像距離演算手段と、
   外光強度を車両装置から得る情報に基づいて算出する外光強度算出手段と、
   前記撮像距離と前記外光強度に基づいて前記カメラ照明の出力を演算する出力演算手段と、
   を備えたことを特徴とするカメラ照明制御装置。
2. 請求項１に記載のカメラ照明制御装置において、
   前記カメラをステアリングコラムに取付けるようにし、
   前記カメラ光軸演算手段は、
   ステアリング調整装置からのチルト角、ステアリングの前後位置に基づいてカメラ光軸を算出する、
   ことを特徴とするカメラ照明制御装置。
3. 請求項１又は請求項２に記載のカメラ照明制御装置において、
   前記ドライバ体軸演算手段は、
   パワーシートからのシート前後位置、リクライニング角に基づいてドライバ体軸を算出する、
   ことを特徴とするカメラ照明制御装置。