JP2024029755A - 自動防眩ミラー - Google Patents

Abstract

【課題】検出されたグレアに応じて反射を抑制するミラーに関する。【解決手段】バックミラー１００は、車両に取付がされ、電気的に制御可能な反射装置１０８を支持する本体１０４を備える。カメラ１１０は、本体１０４に又は本体１０４に隣接して取付られる。カメラ１１０は、可視波長領域及び赤外波長領域の両方において、リアウィンドウを含む、車両の内部の、２次元又は３次元の画像をキャプチャするように構成された画素アレイを有する撮像素子を備える。プロセッサは、キャプチャされた画像を処理することによって、前記電気的に制御可能な反射装置１０８の透過率を制御するための制御信号を生成するように構成される。制御信号は、前記キャプチャされた画像における、車室内部の画素領域内の画素と、リアウィンドウの画素領域内の画素との間の、画素の輝度の比較に基づいて導出される。【選択図】図１

Description

本発明は、反射抑制可能なミラーに関し、特に、検出されたグレアに応じて反射を抑制するミラーに関する。

本発明の実施形態は、特に、車両における、自動的に防眩可能なバックミラーに適応される。しかしながら、本発明は、より広い文脈及び他の応用に適用可能であることが理解されよう。

バックミラーは、ドライバーが前を向いたまま、車両後方のシーンを見ることを可能にするために、ほとんどの車両において使用される。夜間のような暗い時間帯には、バックミラーによって投影されるシーンにおける明るい光によって、ドライバーは、一時的に視覚が損なわれることがある。これは、危険な運転状況を引き起こし、事故につながる可能性がある。

この問題に対処するために、ミラー要素が、高反射率モードと低反射率モードとの間で機械的に切替がされる、機械的に反射抑制可能なミラーが、数十年前に開発された。しかしながら、これは、ミラーモードの切替をするために、ドライバーが彼らの注意をミラーにそらせることを必要とした。

自動的に反射抑制可能な、つまり「自動防眩」ミラーは、それらがドライバーの関与無しで動作するので、機械的に反射抑制可能なミラーに対して、より高度な解決策を示す。自動防眩ミラーは、バックミラー本体上に配置された１つ以上の光センサーを含み、光条件を感知し、それに応じて、ミラーの反射率を調整するために、エレクトロクロミックミラー要素を制御する。

「Automatic dimming mirror using semiconductor light sensor with integral charge collection」と題され、Bechtelらに対する米国特許6,402,328は、前向きの周囲光センサーと後ろ向きのグレアセンサーとを有する自動防眩ミラーに関する。両方のセンサーは単純な光センサーであり、それらの出力信号は、反射抑制要素の適切な反射抑制レベルを決定するために、コントローラによって使用される。Bechtelらは、２つの別個の光センサーを必要とし、それはコストを増大し、システムにおいて２つの障害点をもたらす。

「Camera apparatus in vehicle and method for taking image thereof」と題された、韓国特許出願公開KR 20140054969 Aは、２つのカメラを使用して、車両の前後の照度又はグレアを感知し、それに応じて、ミラーにおける反射率を制御する、自動防眩車両ミラーに関する。自動防眩を実行するための２つのカメラのシステムの使用は、特に競争の激しい車両環境においては、コストがかかり複雑である、

明細書をとおしての背景技術の任意の議論は、そのような技術が周知であり、又は当該技術分野における公知の一般知識の一部を成すという自認としては、決して考えられるべきではない。

本発明の１つの局面によれば、
車両のためのバックミラーであって、前記バックミラーは、
前記車両に取付がされ、電気的に制御可能な反射装置を支持する本体と、
前記本体に又は前記本体に隣接して取付がされたカメラであって、
前記カメラは、可視波長領域及び赤外波長領域の両方において、リアウィンドウを含む、前記車両の内部の、２次元又は３次元の画像をキャプチャするように構成された画素アレイを有する撮像素子を備えた、
カメラと、
前記キャプチャされた画像を処理することによって、前記電気的に制御可能な反射装置の透過率を制御するための制御信号を生成するように構成されたプロセッサと、
を備え、
前記制御信号は、前記キャプチャされた画像における、車室内部の画素領域内の画素と、リアウィンドウの画素領域内の画素との間の、画素の輝度の比較に基づいて導出される、
バックミラーが提供される。

いくつかの実施形態では、前記画素の輝度の比較は、前記車室内部の画素領域内の画素の画素輝度分布の、１つ以上のパーセンタイル値又は標準偏差を、前記リアウィンドウの画素領域内の画素の画素輝度分布の、１つ以上のパーセンタイル値又は標準偏差と比較することを含む。

いくつかの実施形態では、前記カメラは、自動露出制御機能を含み、前記制御信号は、１つ以上の自動露出制御設定から、少なくとも部分的に導出される。

いくつかの実施形態では、前記カメラは、異なる画像群のキャプチャの間に、１つ以上の露出設定を選択的に変化させるように制御される。

いくつかの実施形態では、前記車室内部の画素領域は、車両室内の、１つ以上の物体の物体検出に基づいて規定される。

いくつかの実施形態では、前記リアウィンドウの画素領域は、前記キャプチャされた画像群における物体検出によって位置が特定された車室領域として規定される。

いくつかの実施形態では、前記電気的に制御可能な反射装置は、エレクトロクロミック装置を含む。

いくつかの実施形態では、前記プロセッサは、前記本体の内部に収容される。他の実施形態では、前記プロセッサは、前記本体の外部に配置される。

いくつかの実施形態では、カメラは、赤外波長領域及び可視波長領域のうちの１つのみにおいて撮像するように構成された撮像素子を備える。ある実施形態では、撮像素子は、可視波長領域において撮像するように構成される。別の実施形態では、撮像素子は、赤外波長領域において撮像するように構成される。

いくつかの実施形態では、バックミラーは、前記本体の前方に搭載された周囲光センサーを含む。前記周囲光センサーは、前記車両の前方における周囲光の状態を検出して、周囲光信号を生成するように構成される。前記プロセッサは、前記電気的に制御可能な反射装置の透過率を制御するための前記制御信号に加えて、前記周囲光信号に応答する。

いくつかの実施形態では、前記カメラは、前記車両の前記内部の、同乗者監視を実行するために、前記プロセッサに画像群を提供するように構成された同乗者監視カメラである。

いくつかの実施形態では、カメラは、可視波長領域及び赤外波長領域の両方において、撮像することができる。

いくつかの実施形態では、前記プロセッサは、前記キャプチャされた画像内の既知物体から、前記カメラの姿勢を求めるように構成される。

いくつかの実施形態では、前記カメラは、前記撮像素子が、前記車両のサイドウィンドウも撮像するように構成される。

いくつかの実施形態では、前記プロセッサは、サイドウィンドウの画素領域を求めて、前記サイドウィンドウの画素領域及びリアウィンドウの画素領域に対応する画素の間の、画素輝度の比較を実行するように構成される。いくつかの実施形態では、前記プロセッサは、前記サイドウィンドウの画素領域の画素輝度に基づいて、現在が昼であるか夜であるかを判定するように構成される。いくつかの実施形態では、前記カメラの露光期間及び／又は撮像モードは、前記プロセッサによる、昼であるか又は夜であるかの判定に基づいて調整される。

本開示の例示的実施形態は、添付の図面を参照して、例示としてここで説明される。
図１は、本発明の実施形態による、バックミラーの概略正面図である。 図２は、図１のバックミラーが取付された車両の内部の斜視図である。 図３は、図１のバックミラーが取付された図２の自動車のドライバーから見た斜視図である。 図４は、図１のバックミラーが取付された図２の車両の平面図である。 図５は、図１のバックミラーのカメラから見た、図２の車両の車室の斜視図である。 図６は、図１のバックミラーの主要構成要素の概略機能図である。 図７は、入射光線及び反射光を図示する、電気的に制御可能な反射装置の概略側面図である。 図８は、図１のバックミラーの防眩を制御する方法の主なステップを図示したフロー図である。 図９は、防眩制御信号を導出するための第１方法のサブステップを図示したフロー図である。 図１０は、防眩制御信号を導出するための第２方法のサブステップを図示したフロー図である。

本発明の実施形態は、従来の自動車を参照して記載され、自動車に取付がされた、ドライバー又は同乗者監視システムの構成要素を活用するように構成されるであろう。しかしながら、本発明は、電車、路面電車、バス、トラック又は航空機のような、他の種類の車両においても実現され得て、ドライバー又は同乗者監視システムの使用を活用しなくてもよいことが理解されよう。このシステムは、同乗者だけでなく、車室の他の要素も監視できるので、同乗者監視は、車室監視と呼ばれることもある。
［バックミラー装置］

図１－図４を参照すると、車両１０２において使用されるバックミラー１００が図示されている。図２－図４において最もよく図示されているように、バックミラー１００は、フロントガラスの中央上部領域における、車両１０２内の従来の位置に取付がされる。ミラー１００は、図４において図示されているように、１つ以上の取付位置１０６において車両１０２に取付がされた、実質的に水平方向に細長い本体１０４を含む。取付位置１０６は、ミラー１００が、旋回して動かされ得るように構成され得る。本体１０４は、好ましくは、プラスチック材料のような、硬質の材料で形成された保護筐体の形態を取る。本体１０４は、後述のように、ミラー１００への入射光を、選択的に濾過及び反射するように構成された、電気的に制御可能な反射装置１０８を支持する。

カメラ１１０は、本体１０４に又は本体１０４に隣接して取付がされ、車両の内部の、２次元又は３次元の画像をキャプチャするように構成された撮像素子を備える（図２及び図４における破線によって示されるように）。カメラ１１０は、感光画素の２次元アレイ、及びオプションとして、距離つまり奥行きを求める能力（１つ以上の位相検出要素を通してのような）を有する従来のＣＣＤ又はＣＭＯＳベースのデジタルカメラであってもよい。感光画素は、好ましくは、可視波長領域及び赤外波長領域の両方において、電磁放射を感知する能力がある。カメラ１１０はまた、ＴＯＦカメラ（time-of-flight camera）又は３次元でシーンを撮像する能力がある他のスキャニング又はレンジベースのカメラのような、３次元カメラであってもよい。他の実施形態では、カメラ１１０は、ステレオの構成で動作し、奥行きを抽出するように較正された、一対の同じカメラに置き換えられ得る。カメラ１１０は、好ましくは、可視波長領域及び赤外波長領域の両方において撮像するように構成されているが、代替の実施形態では、カメラ１１０は、赤外波長領域及び／又は可視波長領域において撮像し得ることが理解されよう。可視波長領域及び赤外波長領域の両方において撮像するために、カメラ１１０は、赤、緑、青及び赤外波長領域において感知する能力がある画素を有する、ＲＧＢ－ＩＲイメージセンサーを含み得る。いくつかの実施形態では、カメラ１１０は、広角レンズを含み得る。

図４において示されるように、カメラ１１０は、好ましくは、撮像素子が、車両１０２のリアウィンドウ１１２を含む視野をキャプチャするように構成される。しかしながら、図２及び図４で図示されるように、いくつかの実施形態では、カメラ１１０が、ドライバー１１４（ドライバー監視を実行するため）、同乗者１１６、１１７及び１１８（同乗者／車室監視を実行するため）及び１つ以上のサイドウィンドウ１２０、１２２を含む、より広い車室も撮像することが好ましい。

図５は、リアウィンドウ１１２、ドライバー１１４、同乗者１１６、１１７及び１１８、サイドウィンドウ１２０及び１２２を含む、車両１０２の内部を監視するカメラ１１０の例示的な斜視図を図示する。軸Ｃは、図４に示されるように、車両１０２の前後方向の軸を表す。

ここで図６を参照すると、ミラー１００の、概略のシステムレベル図が図示されている。プロセッサ１２４は、キャプチャされた画像群を処理することによって、電気的に制御可能な反射装置１０８の透過率を制御するための制御信号を生成するように構成される。プロセッサ１２４は、システム１００のための中央処理装置として機能し、後述のように、いくつかの機能を実行するように構成される。

プロセッサ１２４は、好ましくは、本体１０４内に含まれる。しかしながら、他の実施形態では、プロセッサ１２４は本体１０４とは別に配置され、通信インターフェースを介して、ミラー１００に、有線又は無線で接続される。ある実施形態では、コントローラ１２４の動作は、カメラ１１０及び光源１４４Ａ、１４４Ｂに接続されたオンボード車両コンピュータシステムによって実行される。プロセッサ１２４は、例えばレジスタ及び／又はメモリからの電子データを処理して、その電子データを、例えばレジスタ及び／又はメモリに記憶され得る他の電子データに変換する、任意の形態のコンピュータ処理装置又はそのような装置の一部として実現され得る。図６に図示されるように、プロセッサ１２４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電子的に消去可能なプログラム可能なリードオンリーメモリ（ＥＥＰＲＯＭ）、及び当業者には容易に分かるはずである他の同等なメモリ又は記憶システムのような、メモリ１２８に記憶されたコードを実行するマイクロプロセッサ１２６（又は、互いに連携して動作する、マルチプロセッサ群、集積回路群、又はチップ群）を含む。

プロセッサ１２４のマイクロプロセッサ１２６は、機能的に、ビジョンプロセッサ１３０及びデバイスコントローラ１３２を含む。ビジョンプロセッサ１３０及びデバイスコントローラ１３２は、共にマイクロプロセッサ１１４によって実行される機能要素を表す。しかしながら、他の実施形態では、ビジョンプロセッサ１３０及びデバイスコントローラ１３２は、カスタムの、つまり専用の回路と連携するマイクロプロセッサのような別個のハードウェアとして実現され得ることが理解されよう。

ビジョンプロセッサ１３０は、キャプチャされた画像群を処理することによって、関心領域検出、輝度比較、グレア検出及びドライバー／同乗者監視ルーチンのような、下で記載されるさまざまな画像処理機能を実行するように構成される。一般に、ドライバー／同乗者監視は、カメラ１１０の画像センサーから受信した赤外波長情報に基づいて実行されるが、輝度比較及びグレア検出は、カメラ１１０の画像センサーから受信した可視波長情報に基づいて実行される。デバイスコントローラ１３２は、カメラ１１０を制御し、電気的に制御可能な反射装置１０８の透過率を制御するための制御信号を生成するように構成される。

次に図７を参照すると、電気的に制御可能な反射装置１０８は、２つ以上の個別の素子を備え得る。図示された実施形態では、電気的に制御可能な反射装置１０８は、従来の反射ミラー素子１４２と組合せがされた、電気的に制御可能なエレクトロクロミック素子１４０を備え得る。素子１４０及び１４２の両方は、ミラー１００のハウジング１０４内に、固定されるよう取付がされる。エレクトロクロミック素子は、印加された電圧に応答して、不透明度のレベルを変化させる。動作中、光は、エレクトロクロミック素子１４０に入射し、入射光の一部は、エレクトロクロミック素子１４０を透過し、ミラー素子１４２によって反射されてから、エレクトロクロミック素子１４０を透過して戻っていく。反射された光は、リターンパス上のエレクトロクロミック素子１４０によって、さらに部分的に遮断され得て、それによって、入射光の防眩が２倍になる（つまり透過率は半分になる）。反射するミラー素子１４２の正面に配置されるとき、エレクトロクロミック素子１４０は、可変の反射装置を提供する。エレクトロクロミック素子１４０の不透明度のレベルは、デバイスコントローラ１３２からの、電圧制御された防眩信号によって制御される。生成された防眩制御信号は、下で記載されるように、ビジョンプロセッサ１３０からの、可視光の輝度の測定値に依存する。

ミラー１００の追加の構成要素は、本体１０４の共通のハウジング内にも含まれてもよいし、他の追加の実施形態に従って、別個の構成要素として提供されてもよい。本明細書全体を通して、ビジョンプロセッサ１３０又はデバイスコントローラ１３２によって実行される特定の機能は、プロセッサ１２４によって実行されるものとして、より広く記載され得る。

最後に、図１及び図６を参照すると、ミラー１００は、オプションとして、ドライバー１１４及び／又は他の同乗者１１６－１１８を赤外線放射で照らすように構成された、光源１４４Ａ及び１４４Ｂを含む。光源１４４Ａ及び１４４Ｂは、垂直共振器型面発光レーザー（ＶＣＳＥＬ）、発光ダイオード（ＬＥＤ）又は他の光源を備え得る。ドライバーの顔を強調することによって、ドライバーの顔又は顔の特徴の高画質の画像を取得するために、この照射は、カメラ１１０が画像をキャプチャしている所定の画像キャプチャ期間中に発生するようにタイミングが合わせられる。光源１４４Ａ及び１４４Ｂによる、この照射は、ドライバー及び同乗者監視システムに対して好適である。

図１に図示されているように、カメラ１１０は、好ましくは、光源１４４Ａ及び１４４Ｂとともに、ミラー１００の下部フランジ１１９上に配置される。しかしながら、他の実施形態では、カメラ１１０は、電気的に制御可能な反射装置１０８の後ろのような、ミラー１００上の他の場所に配置されてもよい。いくつかの実施形態では、カメラ１１０は、ミラー１００に近接している又はミラー１００に隣接している、車室の別個の範囲に配置されてもよい。これらの実施形態では、カメラ１１０の撮像素子が、ドライバー１１４にグレアをもたらす可視光の反射をキャプチャするように、カメラ１１０はミラー１００のできるだけ近くに配置されることが好ましい。
［防眩制御の概要］

ミラー１００の動作は、次に、図１－図７とともに、図８の方法８００を参照して記載される。方法８００は、キャプチャされた画像のシーケンスにおける全ての画像、又は１０、５０又は１００画像フレームごとのような、画像のサブセットに対して実行され得る。

グレアの一因となるのは可視光であるので、以下に記載される輝度監視及び防眩制御は、カメラ１１０による可視波長領域における光の測定に基づいて実行される。この点で、輝度測定及び画素の輝度に関する言及は、可視波長に感度を有する画素の強度値に関するものである。しかしながら、後述のように、カメラ１１０が、ドライバー／同乗者／車室監視システムとしても動作することができるように、可視波長領域及び赤外波長領域の両方において撮像できることは好適である。車室の画素領域の範囲を定めることのような、以下の制御プロセスにおけるいくつかのステップは、赤外波長領域において撮像することも含み得ることが理解されよう。

図５に示されるように、車両１０２の通常の運転の間、カメラ１１０は、車両１０２の内部、ドライバー１１４、同乗者１１６－１１８、リアウィンドウ１１２及びサイドウィンドウ１２０、１２２を含むシーンを撮像する。方法８００のステップ８０１（図８を参照）において、ビジョンプロセッサ１３０は、カメラ１１０によってキャプチャされた画像を処理することによって、車室内部の画素領域１５０及びリアウィンドウの画素領域１５２を求める。ステップ８０１は、カメラ１１０によってキャプチャされた、可視波長情報、赤外波長情報、又は可視波長情報及び赤外波長情報の両方を処理して、領域１５０及び１５２の位置、大きさ及び形状を求めることによって実行され得る。この出力は、カメラ１１０のための撮像素子の画素のうちの特定のサブセットを、領域１５０及び１５２のうちの１つの中にあるものとして指定するものである。

車室内部の画素領域１５０内の可視波長に対する画素値は、車室内の、現在の周囲の輝度レベル（又は周囲光）を求めるための代理（proxy）を提供するが、リアウィンドウの画素領域１５２内の可視波長に対する画素値は、車両の後ろの輝度レベルを求めるための代理を提供する。赤外波長に対応する画素データは、この輝度を求めることについては重要ではないが、それはこれらの波長がドライバーには見えず、したがってグレアをもたらすことはないからである。

車室内部の画素領域１５０は、図５において、リアウィンドウの下の中央領域として図示されているが、この領域は、車室内の輝度レベルを示す、車室内の任意の領域として選択され得ることが理解されよう。さらに、リアウィンドウの画素領域１５２は、リアウィンドウ１１２の全体、又は、カメラ１１０から他の車両群が見える可能性のある中央領域のようなリアウィンドウのサブセットを含み得る。領域１５０及び１５２は、重ならないように選択されるべきである。

車室内部の画素領域１５０及び／又はリアウィンドウの画素領域１５２は、車室内の１つ以上の物体検出又は輪郭検出、及び／又は画像内のエッジ検出に基づいて、ビジョンプロセッサ１３０によって定義され得る。例として、ビジョンプロセッサは、車両フレーム（例えば、Ｂピラー、Ｃピラー、ルーフパネル等）、シート、ヘッドレスト及び同乗者のような物体を検出し得る。他の実施形態では、ビジョンプロセッサ１３０は、人間からの教師あり学習の有無に関わらず、画像の訓練セットから領域１５０及び１５２を分類することができる、１つ以上の機械学習分類器を実行し、又は１つ以上の機械学習分類器にアクセスし得る。いずれの場合でも、シーンが変化する（例えば、新たな同乗者が乗り込んだりミラー１００の向きが変えられたりする）場合でも、ビジョンプロセッサ１３０は、キャプチャされた画像における領域１５０及び１５２を、動的に求めることができる。

他の実施形態では、ミラー１００が取付される車両の、特定のモデルに対応する３Ｄ車両モデルにおいて、車室のさまざまな領域が定義され得る。その領域は、好ましくは、車両の基準系の３次元座標で定義される。車両モデルにおいて定義される例示的な領域は、それぞれのシートを囲む体積（volume）、及びリアウィンドウについて体積を含む。

いくつかの実施形態では、プロセッサ１２４は、車両物体のような、キャプチャされた画像内の既知物体から、カメラ１１０の姿勢を求めるように構成される。もし、車両の基準系に対して正確なカメラの姿勢が求められ得るなら、領域１５０及び１５２は、より容易に導出され得る。例として、ミラー１００は、Nobleらに付与され、「Systems and methods for identifying pose of cameras in a scene」と題された米国特許10,909,721において記載されている方法を実行するように構成され得る。米国特許10,909,721の内容は、相互参照によってここに援用される。この方法は、車室の現在の眺めを基準画像と比較し、車室の特徴を特定し、相対的な特徴位置を使用することによって、車両に対するカメラの姿勢（位置及び回転）を求める。

求められたカメラの姿勢を使用して、３次元座標からの３次元の体積は、画素座標における２次元領域として、画像に投影される。２次元のリアウィンドウの画素領域１５２は、可視領域における後部の輝度が測定されるべき領域を定義する。

結果として求められた画素領域１５０及び１５２は、カメラ１１０の撮像素子の、全ての画素のそれぞれのサブセットを含み、画素のこれらのサブセットは、可視領域における、その後の輝度分析のために使用される。

ステップ８０１は、所定の時間の間隔において、及び／又は車の発進時又はミラー１００が動かされた又は向きが変えられたことが検出された時のような、特定の動作の後に実行され得る。

画素領域１５０及び１５２を特定することに加えて、オプションのステップ８０２において、ビジョンプロセッサ１３０は、車両１０２のサイドウィンドウに対応する、１つ以上のサイドウィンドウの画素領域１５４及び１５６も求め得る。サイドウィンドウの画素領域１５４及び１５６（図５を参照）は、車室内部の画素領域１５０及びリアウィンドウの画素領域１５２を定義するために使用されるのと同様の、物体検出、輪郭検出、又はエッジ検出のルーチンごとに、ビジョンプロセッサ１３０によって定義され得る。

ステップ８０３において、ビジョンプロセッサ１３０は、１つの画像又は複数の画像群について、車室内部の画素領域１５０及びリアウィンドウの画素領域１５２両方の、可視波長領域におけるそれぞれの画素輝度の測定値を求める。車室内部の画素領域１５０に対する画素輝度の測定値は、「周囲輝度測定値」（車両内の周囲条件と近似するので）と呼ばれ、リアウィンドウの画素領域１５２に対する画素輝度値は、「後部輝度測定値」と呼ばれる。

いくつかの実施形態では、画素輝度の測定値を求めるステップ８０３は、画素領域１５０及び１５２内の、可視波長画素に対する全体輝度ヒストグラムにおける、高輝度のピークを求めることを含む。例として、ＲＧＢ－ＩＲイメージセンサーの場合、赤、緑、及び青に感度を有する画素に対応する画素のみが、この輝度測定の目的のために考慮される。これは、可視波長がグレアをもたらすからである。他の実施形態では、このステップは、画素領域１５０及び１５２のうちの１つの中の、画素の画素輝度分布の、１つ以上のパーセンタイル値又は標準偏差を求めることを含む。さらなる実施形態では、このステップは、画素領域１５０及び１５２のうちの１つの中の、可視波長画素の全てにわたる画素輝度の平均値、ピーク、又は他の組合せ、又は集合を求めることを含む。

いくつかの実施形態では、画素輝度の測定は、複数の、時間的に間隔が空けられた画像群にわたって、それぞれの領域１５０及び１５２についての可視波長領域における画素輝度を平均することを含む。これは、車両が通過している時の明るい街灯のような、短時間に集中する輝度（それは防眩ミラー１００を必要としないかもしれない）と、車両１０２の後ろの別の車両のような、より安定した輝度とを区別し得る。さらなる実施形態では、画素輝度の測定は、可視波長領域における画素領域１５０及び１５２の最高輝度、これらの領域の輝度値の標準偏差又は２σを求めることを含む。

いくつかの実施形態では、画素領域にわたる輝度の分布を求めるために、リアウィンドウの画素領域１５２の、さらなる画像処理が実行される。このアプローチを用いると、ビジョンプロセッサ１３０は、ヘッドライトのような焦点が合った明るい光源を、明るい周囲条件から区別できる可能性がある。

ステップ８０３の出力において、各ピクセル領域１５０及び１５２は、８ビット画像の場合０と２５５との間のような画素輝度値で指定される。一般に、画素輝度値は、０と（２^ｎ）との間の範囲の値をとり得て、ここで、ｎは、画素が検出することができる値の範囲に対応する、画素のビット深度である。上述のように、この輝度測定値は、可視波長領域に感度を有する画素のみに基づく。

オプションのステップ８０４において、サイドウィンドウの画素領域１５４及び１５６がオプションのステップ８０２において定義される場合、ビジョンプロセッサ１３０は、領域１５０及び１５２に対する画素輝度の測定値を定義するのと同様の方法で、これら２つの領域に対して、可視波長領域における画素輝度の測定値を定義する。サイドウィンドウの画素領域１５４及び１５６に対する、画素輝度の測定値は、「外部輝度測定値」と呼ばれる。この外部輝度測定値は、画素輝度分布の平均値、ピーク、１つ以上のパーセンタイル値、画素輝度分布の標準偏差、２つの画素領域１５４及び１５６の最高輝度又は最低輝度を含んでもよく、又は、２つの画素領域の別個の輝度測定値の比較を含んでもよい。

ステップ８０５において、周囲輝度測定値と後部輝度測定値との比較が行われる。例として、この比較は、どちらの輝度が高いか／低いかを求めるために、２つの値の間の単純に差を求めることを含み得る。他の実施形態では、この比較は、周囲輝度測定値及び後部輝度測定値と、1つ以上の基準値又は基準範囲とを比較することを含み得る。

ステップ８０６において、ミラー１００のための防眩制御信号は、ステップ８０５における画素輝度の比較に基づいて導出される。さまざまな制御オプションが可能であり、これらは以下に述べられる。

図９を参照すると、防眩制御信号を導出するための、１つの例示的なサブメソッド（sub-method）８０６Ａが図示されている。サブメソッド８０６Ａは、単に、周囲輝度測定値と後部輝度測定値との比較を使用する。サブステップ８０６Ａ－１において、ビジョンプロセッサ１３０は、周囲輝度測定値に対する後部輝度測定値の比較が、閾値以上であるかどうかを求める。これは、後部輝度測定値が周囲輝度測定値より大きいかどうかの直接比較を含み得て、又は、後部輝度測定値と周囲輝度測定値との比を求めることを含み得る。もし閾値に到達しないなら（周囲輝度測定値が後部輝度測定値より大きいときのような）、サブステップ８０６Ａ－２において、エレクトロクロミック素子１４０の不透明度を維持又は低減する防眩制御信号が導出される。これは、リアウィンドウ１１２からのより多くの光がミラー１００から反射されることを維持する、又は可能にするように作用する。防眩制御のレベルは、輝度における差の大きさに基づき得て、不透明度のより大きい減少は、周囲輝度測定値が後部輝度測定値より著しく大きい、又は２つの測定値の比が、特定の比の範囲内にあるときに生じる。輝度差の閾値又は輝度差の範囲に対応する１つ以上電圧レベルが、プリセットされ得る。内部輝度測定値及び後部輝度測定値が、所定の領域（又は比率範囲）内で、同一であるか又は類似しているとき、エレクトロクロミック素子１４０の不透明度に変化を与えない制御信号が適用され得る。

サブステップ８０６Ａ－１において、もし閾値に到達するなら（後部輝度測定値が周囲輝度測定値より大きいときのような）、サブステップ８０６Ａ－３において、ビジョンプロセッサ１３０は、その後、後部輝度測定値が、防眩を正当化するための閾値より大きいかどうかを求める。もし後部輝度測定値が閾値より大きいなら、サブステップ８０６Ａ－４において、エレクトロクロミック素子１４０の不透明度を増加させる防眩制御信号が導出される。これは、別の車両からの光が、リアウィンドウ１１２を通して眩しい夜間のような、高いグレアの状態に対応する。この制御は、ミラー１００から反射される、リアウィンドウ１１２からの光の量を減少させる（防眩する）ように作用する。エレクトロクロミック素子１４０の制御は、不透明度の異なるレベル（防眩レベル）に対応する、電圧レベル群の所定のセットに基づき得て、それらは、後部の画素輝度又は輝度の差のレベルに基づく。

もし後部輝度測定値が閾値未満であるなら、サブステップ８０６Ａ－５において、エレクトロクロミック素子１４０の不透明度を維持する防眩制御信号が導出される。

現在が昼であるか又は夜間であるかの判定は、電気的に制御可能な反射装置１０８の防眩制御のための１つの要素として考慮され得る。単にリアウィンドウの画素領域１５２における周囲光が強いからといって、昼間に装置１０８の防眩を不用意に行うと、ミラー１００を通したドライバーの視覚に悪影響を与えるかもしれない。プロセッサ１２４の防眩制御ロジックは、昼及び夜のモードを含み得て、ここで、リアウィンドウの画素領域１５２におけるグレアの悪影響がより大きくなるため、夜間には、より大きい防眩制御が実行される。これは、昼と夜とで、別個の電圧ルックアップテーブル群を有することによって達成され得る。加えて、カメラ１１０が、可視波長領域及び赤外波長領域の両方において撮像するための機能を備える場合、昼／夜の判定を使用して、昼間に使用する可視撮像モードと夜間に使用する赤外撮像モードとの間で、カメラ１１０を切替することができる。

次に図１０を参照すると、昼／夜の判定を含む防眩制御信号を導出するための、別の例示的なサブメソッド８０６Ｂが図示されている。このサブメソッドは、サイドウィンドウの画素領域１５４及び１５６、対応する外部輝度測定値及び／又は周囲光センサーを利用する。

サブステップ８０６Ｂ－１において、ビジョンプロセッサ１３０は、後部輝度測定値を周囲輝度測定値と比較した結果が、閾値以上であるかどうかを求める。これは、後部輝度測定値が周囲輝度測定値より大きいかどうかの直接比較を含み得て、又は、後部輝度測定値の周囲輝度測定値に対する比を求めることを含み得る。もし閾値に到達しないなら（周囲輝度測定値が後部輝度測定値より大きいときのような）、サブステップ８０６Ｂ－２において、上でサブステップ８０６Ａ－２において記載されている方法と同様の方法で、エレクトロクロミック素子１４０の不透明度を維持又は低減する防眩制御信号が導出される。

サブステップ８０６Ｂ－１において、もし閾値に到達するなら（後部輝度測定値が周囲輝度測定値より大きいときのような）、サブステップ８０６Ｂ－３において、昼／夜の判定が行われる。これは、サイドウィンドウの画素領域１５４及び１５６からの外部輝度測定値、及び／又は周囲光センサーからの周囲光の測定値に基づき得る。もし外部輝度測定値又は周囲輝度測定値が所定の閾値を超えるなら、プロセッサ１２４は、現在は昼間であると判定する。もし夜間であるという判定がなされるなら、サブステップ８０６Ｂ－４において、エレクトロクロミック素子１４０の不透明度を増加させる防眩制御信号が導出される。もし昼間であるという判定がなされるなら、サブステップ８０６Ｂ－５において、エレクトロクロミック素子１４０の不透明度を維持する防眩制御信号が導出される。

方法８００は、適切なレベルの輝度差が求められるまで、異なる電圧レベルに順次防眩して、繰り返し実行され得る。

ミラー１００は、昼／夜の判定のような、高レベルの処理を実行するように構成され得る。いくつかの実施形態では、この昼／夜の判定は、単に、周囲輝度測定値からの、車内の周囲光の検出に基づいてもよい。例として、もし周囲輝度測定値の平均輝度が所定の閾値を超えるなら、プロセッサ１２４は、昼間であると判定し得る。サイドウィンドウの画素領域１５４及び１５６がオプションのステップ８０２において定義される場合、これらの画素領域からの外部輝度測定値は、昼であるか又は夜であるかを直接的に判定するために使用され得る。例として、もし外部の画素輝度の平均輝度が所定の閾値を超えるなら、プロセッサ１２４は、昼間であると判定し得る。

いくつかの実施形態では、ビジョンプロセッサ１３０は、サイドウィンドウの画素領域１５４及び１５６と、リアウィンドウの画素領域１５２とに対応する画素の間の、画素輝度の比較を実行するように構成される。すなわち、後部輝度測定値及び外部輝度測定値の間の比較が実行される。リアウィンドウの画素領域１５２における明るいヘッドライトが高い輝度をもたらし得ることを考慮すると、この領域を、昼／夜の測定値に対する代理として使用することには曖昧さがある。

いくつかの実施形態では、ミラー１００は、本体１０４の前方に搭載された周囲光センサー（不図示）も備え、これは車両の前方における周囲光の状態を検出するように構成される。他の実施形態では、この周囲光センサーは、車両１０２内の他の領域に配置されてもよい。この周囲光センサーは、デバイスコントローラ１３２に送信される周囲光信号を生成し、デバイスコントローラ１３２は、電気的に制御可能な反射装置の透過率を制御するための制御信号に加えて、周囲光信号に応答する。この周囲光信号は、昼／夜の判定を行うように、プロセッサ１２４によって使用されてもよい。もし周囲光センサーによって検出された周囲光レベルが閾値レベルを超えるなら、プロセッサ１２４は、現在は昼間であると判定する。

いくつかの実施形態では、カメラ１１０は、周囲光レベルに基づいて、カメラの画像センサーの露光期間を自動的に調節する自動露出制御を含む。これらの実施形態では、自動露出制御は、周囲光のレベルを求めるために、代理として使用されてもよい。したがって、防眩制御信号は、カメラ１１０からの１つ以上の自動露出制御設定から、少なくとも部分的に導出され得る。夜間には、カメラ１１０は、シャッターが開いている期間が長く、ゲインレベルが高い状態で動作することになる。明るい晴天時においては、シャッターが開いている期間が短くなり、ゲインレベルが低くなるであろう。したがって、車室にわたって画素強度を測定するためにＣＰＵサイクルを費やす必要なしに、外が明るいか又は暗いかを判定するために、コントローラ１３２は露出構成を使用することができる。カメラの露光期間及び／又は撮像モードは、プロセッサ１２４による、昼夜の判定に基づいて調整されてもよい。
［車両監視システムの概観］

自動防眩制御を実行することに加えて、ミラー１００は、ドライバー又は同乗者監視システムとして機能するように構成され得る。車両のドライバー又は同乗者監視システムの要素を自動防眩ミラーと統合することによって、自動防眩機能を強化しながら、要素の全体のコストを削減し得る。これは、可視波長領域及び赤外波長領域の両方において、放射に対して感度を有するカメラ１１０で達成され得る。例として、これは、ＲＧＢ－ＩＲイメージセンサーをカメラ１１０に組込むことによって達成され得る。

図５に図示されているように、カメラ１００は、車両１０２の運転中に、少なくとも赤外波長領域において、ドライバー１１４及び同乗者１１６－１１８の画像をキャプチャするように配置される。これらの実施形態では、ビジョンプロセッサ１３０は、顔検出、顔特徴検出、顔認識、顔特徴認識、顔追跡、又は人の目を追跡するような顔特徴追跡のような、キャプチャされた画像に対して、さまざまな画像処理アルゴリズムを実行するために、さらに構成される。例示的画像処理手順は、「Facial Image Processing System」と題され及びSeeing Machines Pty Ltdに譲渡されたEdwardsらに対する米国特許7,043,056号に記載されており、その内容は、相互参照によってここに援用される。

ドライバーの顔を強調することによってドライバーの顔又は顔の特徴の高品質画像を取得できるように、光源１４４Ａ及び１４４Ｂは、カメラ１１０が画像をキャプチャしている所定の画像キャプチャ期間中、赤外線放射でドライバー１１４及び／又は同乗者１１６－１１８を照らすように構成される。赤外領域におけるカメラ１１０及び光源１４４Ａ、１４４Ｂの動作は、視覚的にドライバーの注意を散漫とさせることを低減させる。

ビジョンプロセッサ１３０は、キャプチャされた画像を処理することによってドライバー監視を実行するように構成される。例えば、ドライバー監視とは、監視環境内での、ドライバー１１４の３次元の頭部姿勢及び／又は視線の位置を求めることである。これを達成するために、ビジョンプロセッサ１３０は、１つ以上の視線判定アルゴリズムを利用する。これは、例として、「Facial Image Processing System」と題され及びSeeing Machines Pty Ltdに譲渡されたEdwardsらに対する米国特許7,043,056号に記載されている方法を含み得る。ビジョンプロセッサ１３０は、目の閉じ具合、瞬きの速度のようなドライバー１１４の特性を求めること、及びドライバーの頭の動きを追跡することを含むさまざまな他の機能を実行することによって、ドライバーの注意、眠気、又はドライバーの安全な車両の運転を妨げ得る他の問題も検出し得る。

ビジョンプロセッサ１３０によって取得された生の画像データ、視線位置データ、及び他のデータは、メモリ１２８に記憶される。

デバイスコントローラ１３２は、カメラ１１０を制御し、及びカメラ１１０の露出時間に同期して順次に、光源１４４Ａ及び１４４Ｂを選択的に発光させるように構成される。ストロボシーケンスを実行するために、光源は、偶数画像フレーム及び奇数画像フレームの間に、交互に発光するように制御され得る。Ｌ，Ｌ，Ｒ，Ｒ，Ｌ，Ｌ，Ｒ，Ｒ，…又はＬ，Ｒ，０，Ｌ，Ｒ，０，Ｌ，Ｒ，０，…のような他の照射シーケンスがデバイスコントローラ１３２によって実行され得て、ここで、「Ｌ」は、左に取付がされた光源を表し、「Ｒ」は、右に取付がされた光源を表し、「０」は、両方の光源が消灯している間にキャプチャされた画像フレームを表す。光源１０８は、好ましくは、デバイスコントローラ１３２に電気的に結合されるが、ブルートゥース（商標）又はWiFi（商標）通信のような無線通信を通して、コントローラ１３２によって無線で制御されてもよい。

よって、車両１０２の運転の間、デバイスコントローラ１３２は、カメラ１１０をアクティベートすることによって、ドライバー１１４の顔の画像を、ビデオシーケンスとしてキャプチャする。光源１４４Ａ及び１４４Ｂは、画像キャプチャの間にドライバーを照射するために、カメラ１１０によってキャプチャされる連続した画像フレームと同期して、点灯及び消灯される。連携して動作することによって、デバイスコントローラ１３２及びビジョンプロセッサ１３０は、車両１０２の通常運転の間の、眠気、注意及び視線位置のような、ドライバーの状態情報を得るために、ドライバーの画像をキャプチャすること及び処理することを提供する。
［解釈］

「赤外線」という用語は、明細書の全体にわたって使用される。本明細書の範囲では、赤外線は、近赤外線、赤外線、及び遠赤外線の周波数つまり光波を含む電磁スペクトルの一般的な赤外線領域を表す。

可視波長の文脈における「可視」という用語は、明細書全体を通じて、平均的な人間の目に見える波長の領域（すなわち、周波数）を意味するために使用される。

具体的に特段の記載がない限り、以下の議論から明らかなように、本明細書を通して、「処理」、「コンピューティング」、「計算」、「判定」、「分析」又はそれらの類似物のような語を利用した議論は、電子的のような物理的な量として表現されるデータを、物理的な量として同様に表現される他のデータに操作し及び／又は変換する、コンピュータ又はコンピューティングシステム又は類似の電子コンピューティング装置の動作及び／又は処理を表すことが理解されよう。

同様に、「コントローラ」又は「プロセッサ」の用語は、例えば、レジスタ及び／又はメモリからの電子データを処理して、その電子データを、例えばレジスタ及び／又はメモリに記憶され得る他の電子データに変換する装置の、任意の装置又はその一部を表し得る。「コンピュータ」又は「コンピューティングマシン」又は「コンピューティングプラットフォーム」は、１つ以上のプロセッサを含み得る。

本明細書を通して「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という言い方は、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。よって、本明細書を通してさまざまな箇所に「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という文言が現れることは、必ずしも全てが同一の実施形態を指すのではない。さらに、特定の特徴、構造、又は特性は、本開示から当業者には明らかなように、１つ以上の実施形態において任意の適切なやり方で組み合わせられてもよい。

ここで用いられるように、特にそうではないと述べられない限り、共通の物体を記載するために用いられる順序を表す形容詞「第１」、「第２」、「第３」等は、単に類似の物体の異なる例が参照されることを示すだけであり、そのように記載された物体が、時間的、空間的、序列において、又は任意の他の点において、与えられた順序で存在しなければならないことを示唆するようには意図されていない。

以下の特許請求の範囲及びここでの説明において、備える、備わった、又は備えられているという語のいずれも開放的な語であり、少なくとも後に続く要素／特徴を含むことを意味するのであって、他のものを排除することを意味しない。よって備えるという語は、特許請求の範囲で用いられるときは、その後に列挙された手段又は要素又はステップに限定されるようには解釈されるべきではない。例えば、Ａ及びＢを備える装置という表現の範囲は、要素Ａ及びＢだけからなる装置に限定されるべきではない。本明細書で使用されている語including（含んでいる）、which includes（含む）、又はthat includes（含む）という用語のうちのいずれも、その語の後に続く要素／特徴を少なくとも含むということを意味するが、他の物を排除する意味はない。よって含むは、備えると同義であり、備えるという意味である。

本開示の例示的実施形態の上の説明において、本開示のさまざまな特徴は、時として、本開示を効率的にし、１つ以上のさまざまな発明の局面の理解を助けるために、単一の実施形態、図、又はその記載においてまとめられていることが理解されよう。しかしこの開示方法は、特許請求の範囲がそれぞれの特許請求の範囲において明示的に記載されたよりも多くの特徴を要求するという意図を反映するようには解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の局面は、単一の前述の開示された実施形態の全ての特徴よりも少ない所に存する。よって詳細な説明の後の特許請求の範囲は、ここで明示的にこの詳細な説明に援用され、それぞれの請求項は、本開示の別々の実施形態として、それ自身で有効である。

さらに、当業者に理解されるように、ここで記載されたいくつかの実施形態は、いくつかの特徴を含むが、他の実施形態中に含まれる他の特徴は含まないが、異なる実施形態の特徴の組み合わせも本開示の範囲内にあると意図され、異なる実施形態を形成するものと意図される。例えば、以下の特許請求の範囲において、請求された実施形態の任意のものは、任意の組み合わせにおいて用いられ得る。

ここに提供された記載において、多くの具体的な詳細が述べられている。しかしながら、本開示の実施形態は、これら具体的な詳細なしでも実施され得ることが理解されよう。換言すれば、本記載の理解を不明瞭にさせないために、よく知られた方法、構造、及び技術は詳細には示されていない。

同様に、結合されるという語は、特許請求の範囲で使われるときには、直接的接続だけに限定されて解釈されるべきではないことに注意されたい。「結合された」及び「接続された」という語が、それらの派生形もあわせて、用いられ得る。これら語は、互いの同義語としては意図されていないことが理解されたい。よって装置Ｂに結合された装置Ａという表現の範囲は、装置Ａの出力が直接に装置Ｂの入力に接続されている装置又はシステムに限定されるべきではない。それは、Ａの出力及びＢの入力の間のパスが存在し、これは、他の装置又は手段を含むパスであってもよいということを意味する。「結合された」は、２つ以上の要素が直接的な物理的、電気的、又は光学的接触のいずれかにあること、又は２つ以上の要素が直接的な接触にはないが、依然として互いに協働又は相互作用することを意味し得る。

本明細書に記載された実施形態は、本発明のあらゆる適応又は変形を対象とすることを意図している。本発明は、特定の例示的な実施形態の観点で記載され、説明されてきたが、当業者には、本発明の範囲内にあるさらなる実施形態が容易に想定され得ることが理解されよう。

Claims (18)

1. 車両のためのバックミラーであって、前記バックミラーは、
   前記車両に取付がされ、電気的に制御可能な反射装置を支持する本体と、
   前記本体に又は前記本体に隣接して取付がされたカメラであって、
   前記カメラは、可視波長領域及び赤外波長領域の両方において、リアウィンドウを含む、前記車両の内部の、２次元又は３次元の画像をキャプチャするように構成された画素アレイを有する撮像素子を備えた、
   カメラと、
   前記キャプチャされた画像を処理することによって、前記電気的に制御可能な反射装置の透過率を制御するための制御信号を生成するように構成されたプロセッサと、
   を備え、
   前記制御信号は、前記キャプチャされた画像における、車室内部の画素領域内の画素と、リアウィンドウの画素領域内の画素との間の、画素の輝度の比較に基づいて導出される、
   バックミラー。
2. 前記画素の輝度の比較は、前記車室内部の画素領域内の画素の画素輝度分布の、１つ以上のパーセンタイル値又は標準偏差を、前記リアウィンドウの画素領域内の画素の画素輝度分布の、１つ以上のパーセンタイル値又は標準偏差と比較することを含む、
   請求項１に記載のバックミラー。
3. 前記カメラは、自動露出制御機能を含み、前記制御信号は、１つ以上の自動露出制御設定から、少なくとも部分的に導出される、
   請求項１又は２に記載のバックミラー。
4. 前記カメラは、異なる画像群のキャプチャの間に、１つ以上の露出設定を選択的に変化させるように制御される、
   請求項１又は２に記載のバックミラー。
5. 前記車室内部の画素領域は、車両室内の、１つ以上の物体の物体検出に基づいて規定される、
   請求項１又は２に記載のバックミラー。
6. 前記リアウィンドウの画素領域は、前記キャプチャされた画像群における物体検出によって位置が特定された車室領域として規定される、
   請求項１又は２に記載のバックミラー。
7. 前記電気的に制御可能な反射装置は、エレクトロクロミック装置を含む、
   請求項１又は２に記載のバックミラー。
8. 前記プロセッサは、前記本体の内部に収容される。
   請求項１又は２に記載のバックミラー。
9. 前記プロセッサは、前記本体の外部に配置される、
   請求項１又は２に記載のバックミラー。
10. 前記本体の前方に搭載された周囲光センサーを含み、前記周囲光センサーは、前記車両の前方における周囲光の状態を検出して、周囲光信号を生成するように構成された、
    請求項１又は２に記載のバックミラー。
11. 前記プロセッサは、前記電気的に制御可能な反射装置の透過率を制御するための前記制御信号に加えて、前記周囲光信号に応答する、
    請求項１０に記載のバックミラー。
12. 前記カメラは、前記車両の前記内部の、同乗者監視又は車室内監視を実行するために、前記プロセッサに画像群を提供するように構成された同乗者監視カメラである、
    請求項１又は２に記載のバックミラー。
13. 同乗者は車両ドライバーを含み、前記プロセッサは、前記車両ドライバーの注意力及び／又は眠気を監視するために、１つ以上のドライバー監視プロセスを実行するように構成された、
    請求項１２に記載のバックミラー。
14. 前記プロセッサは、前記キャプチャされた画像内の既知物体から、前記カメラの姿勢を求めるように構成された、
    請求項１又は２に記載のバックミラー。
15. 前記カメラは、前記撮像素子が、前記車両のサイドウィンドウも撮像するように構成された、
    請求項１又は２に記載のバックミラー。
16. 前記プロセッサは、サイドウィンドウの画素領域を求めて、前記サイドウィンドウの画素領域及びリアウィンドウの画素領域に対応する画素の間の、画素輝度の比較を実行するように構成された、
    請求項１５に記載のバックミラー。
17. 前記プロセッサは、前記サイドウィンドウの画素領域の画素輝度に基づいて、現在が昼であるか夜であるかを判定するように構成された、
    請求項１６に記載のバックミラー。
18. 前記カメラの露光期間及び／又は撮像モードは、前記プロセッサによる、昼であるか又は夜であるかの判定に基づいて調整される、
    請求項１７に記載のバックミラー。