JP3201518U - イメージセンサ視野内の障害物を検出するためのシステム - Google Patents

Abstract

【課題】正しい撮像機能を検証するための能力が向上したイメージングシステムを提供する。【解決手段】その視野にわたって受光した光に応答して、画像データを収集するように構成されたイメージセンサ１４と、イメージセンサ１４の視野内に形成された透明保護層３２と、所定のパターンで光を放射するように構成された光源３６と、光源３６によって所定のパターンで放射された光に応答して、イメージセンサ１４によって収集された画像データの部分を検出するように構成され、および画像データの部分を検出することに応答して、透明保護層３２上の障害物３４を識別するように構成された制御および処理回路１６と、を備える。【選択図】図２

Description

本考案は、一般に、イメージングシステムに関し、より具体的には、画像検証回路を有するイメージングシステムに関するものである。

携帯電話機、カメラおよびコンピュータ等の現代の電子装置は、多くの場合、デジタルイメージセンサを使用している。撮像装置（すなわち、イメージセンサ）は、画像検出画素から成る２次元アレイによって形成される。各画素は、入射光子（入射光）を受光して、それらの光子を電気信号に変換する。

イメージセンサは、自動車用途によく利用されている。自動車用イメージング用途においては、イメージセンサが、ＩＳＯ２６２６２、すなわち、路上走行車の機能安全規格等の一定の規制安全基準に準拠することが不可欠になっている。そのような種類の産業安全基準に準拠するために、自動車用イメージセンサは、典型的には、そのイメージセンサが正しく作動しているか否かを判断するために、自己検査処理を実行する。具体的には、多くの場合、イメージセンサに付随するレンズが正しく作動しているか否かを判断できることが望ましい。

しかし、従来の自動車用イメージセンサにおいては、イメージセンサが自動車に組み込まれた後に、そのイメージセンサのレンズによって既知のシーンを与えることは難しいか、または不可能である可能性がある。このことは、自動車用イメージングシステムが、レンズが間違って、または故意に傷付けられているか否かを判断することを困難にする可能性がある。

したがって、正しい撮像機能を検証するための能力が向上したイメージングシステムを提供することが望まれている。

本考案に係るイメージングシステムは、イメージセンサと、光源と、処理回路とを有し、前記イメージセンサは、前記イメージセンサの視野にわたる画像データを収集するものであり、前記光源は、光を放射するものであり、前記処理回路は、前記収集された画像データが、前記放射された光の反射に応答して生成された画像データの一部を含んでいるか否かを判断するものであり、さらに前記処理回路は、前記収集された画像データが、前記放射された光の前記反射に応答して生成された画像データの一部を含んでいると判断したことに応答して、前記イメージセンサの前記視野内に障害物があることを識別するものである。

また本考案に係るイメージングシステムは、その視野にわたって受光した光に応答して、画像データを収集するように構成されたイメージセンサと、前記イメージセンサの前記視野内に形成された透明保護層と、所定のパターンで光を放射するように構成された光源と、前記光源によって前記所定のパターンで放射された前記光に応答して、前記イメージセンサによって収集された前記画像データの部分を検出するように構成され、および前記画像データの前記部分を検出することに応答して、前記透明保護層上の障害物を識別するように構成された処理回路と、を備える、イメージングシステムである。

本考案に係るシステムは、内部および外部を有する車両と、中央処理ユニットと、メモリと、入出力回路と、画像データを収集するように構成された撮像装置であって、前記車両の前記内部に取り付けられ、および前記車両の前記外部に面する方向に向けられる前記撮像装置と、前記撮像装置を前記車両の前記外部から隔離する透明保護層と、前記車両の前記内部に取り付けられた光源とを備え、前記光源は、所定のパターンの光を放射するように構成され、および前記中央処理ユニットは、前記収集した画像データ内の前記所定のパターンの光の反射を識別することによって、前記イメージセンサの近接障害物を検出するように構成される、システムである。

デジタルカメラモジュールを有する本考案のイメージングシステムは、デジタルカメラ、コンピュータ、携帯電話機およびその他の電子装置等の電子装置に幅広く用いられる。デジタルカメラモジュールは、入射光を集めて画像を収集する１つ以上のイメージセンサを含むものであってもよい。

いくつかの状況において、本考案のイメージングシステムは、車両（例えば、自動車、バス、または他の何らかの車両）用の監視システムまたは安全システム等のより大きなシステムの一部を構成してもよい。

車両用安全システムにおいて、そのイメージングシステムによって収集された画像は、その車両安全システムが、その車両の周囲の環境条件を判断するのに用いることができる。例として、車両安全システムは、駐車支援システム、全自動または半自動の速度制御システム、自動制動システム、衝突回避システム、車線維持システム（車線ドリフト回避システムともいう）等のシステムを含んでもよい。これらの状況において、イメージングシステムによって収集された画像データは、車両安全システムが、自動車の機能（例えば、自動車の安全性および／または自動車の近傍の物体の安全性を確実にすることに関連していてもしていなくてもよい、自動車の機械的動作に付随する機能）を実行するために用いられる。少なくともいくつかの事例では、イメージングシステムは、半自動または全自動運転車用の車両安全システムの一部を構成してもよい。

車両安全システムは、（例えば、記憶装置、および揮発性または不揮発性メモリと、中央処理システムまたは他の処理装置等のプロセッサを有する処理回路とに実装された）計算装置と、その計算装置によって生成された命令を、車両の運転に付随する機械的動作に変換する対応する運転制御装置とを含んでもよい。例えば、運転制御装置は、車両安全システムによって生成された制御信号に応答して、その車両に付随する機械的システムを作動させてもよい。

車両安全システムは、車両の運転に関連する所望の機械的動作を実行するように運転制御装置に指示するのに制御信号が用いられるように、その画像データを処理して該制御信号を生成してもよい。例えば、運転制御システムは、（例えば、車両が車両安全システムによって駐車スペースに案内される駐車支援機能を実行するために、道路車線マーカー間で車両のコースを維持するようにステアリングホイールが自動的に調節される車線支援機能を実行するために）車両が所望の方向に向きを変えるように、車両のステアリングホイールを調節してもよく、車両が一定の速度を有するように、または、所望のエンジン出力で車両が前後に動くように（例えば、運転制御システムは、その車両の前方の別の車両に対して、その車両が所望の距離を保つように調節してもよい等）車両のエンジン（モータ）を制御してもよく、車両に付随する制動システムを調節してもよく（例えば、パーキングブレーキ、アンチロックブレーキ等を作動させてもよい）、または、車両の動作に関連する他の何らかの機械的動作を実行してもよい。車両安全システムは、車両の横、前方および／または後方の物体を検出し、（例えば、アラームまたはディスプレイによって）運転者にハザードを警告する、および／または検出したハザードまたは物体を避けるために、（例えば、運転システムを制御することにより）車両の動きを自動的に調節するハザード検出動作を実行してもよい。（例えば、運転制御システムを制御することにより）車両の安全を維持するために車両安全システムによって実行された機能は、本願明細書においては、車両安全動作または車両安全機能と呼ぶこともある。

自動車安全基準等の規制主体によって課された規制基準は、車両安全システムの（イメージングシステムコンポーネントを含む）どのコンポーネントの適切な動作も、対応する車両の動作の前、間および／または後に検証されることを要求する可能性がある。イメージングシステムコンポーネントのための検証動作は、車両の動作の前および／または後に（例えば、そのイメージングシステムの始動時および／または停止時に）、そのイメージングシステムによって実行してもよい。それらの検証動作時には、イメージングシステムと検証動作とが同時に動作する必要はない可能性がある。しかし、イメージングシステムの動作中に、特に、そのイメージングシステムによって提供された撮像データの品質によって、車両の安全が影響を受ける可能性がある状況においては、イメージングシステムコンポーネントのステータスを継続的にモニタすることが所望される可能性がある。イメージングシステムには、この種のオンザフライ（例えば、リアルタイム）検証能力を設けてもよい。

車両安全システムのイメージングシステムに実装されているもの等のイメージセンサは、画像画素から成る１つ以上のアレイを含んでもよい。そのアレイの画素は、入射光を電荷に変換するフォトダイオード等の受光素子を含んでもよい。画素アレイは、任意の数（例えば、数百または数千以上）の画素を有してもよい。典型的なイメージセンサは、例えば、数百、数千または数百万の画素（例えば、メガピクセル）を有してもよい。必要に応じて、各画素は、その画素を覆って形成された関連するマイクロレンズ（およびカラーフィルタ素子）を有してもよい。その画素アレイは、ダストまたは指紋等の外部粒子から画素アレイを保護する覆蓋を追加的に有してもよい。イメージセンサが自動車または他の車両に組み込まれる場合、そのイメージセンサは、車両の動作中のダメージから該イメージセンサを保護する追加的な保護層（例えば、車両のウィンドウまたはフロントガラス、または、イメージセンサのための他の何らかの保護カバー）の背後に設けてもよい。

自動車用イメージング用途においては、イメージセンサが、捉えようとしているシーンから遮られることがよくある。例えば、自動車は、車上の自動車用イメージングシステムに実装されたイメージセンサの視野を遮る可能性がある自動車の通常の動作中に、埃、泥、雨、油または他のデブリを引き寄せる可能性がある。イメージセンサは、イメージセンサの視野が遮られないことを確実にするように、検証システムを含むカメラモジュールの一部として形成してもよい。例えば、そのカメラモジュールは、イメージセンサと、対応する光源とを含んでもよい。その光源は、特定の色または複数の色の光を既知のパターンで放射してもよい。その光源は、イメージセンサが、障害物から反射された光を検出できるように、そのイメージセンサの視野を遮る近接障害物から反射するのに十分に明るい光を放射してもよい。イメージセンサが光源によって障害物から反射した光を受光した場合（例えば、受光した光が、そのパターンで光源によって光が放射された所定のカラーパターンに一致した場合に）、そのイメージセンサに結合されている処理回路は、近接障害物が存在しており、適切な動作を行ってもよいと判断することができる。特定の場合においては、その処理回路は、遮られたイメージセンサに関連する運転者支援機能を停止させてもよく、および／または入出力装置を用いて、障害物があることを自動車の運転者に警告してもよい。その他の場合においては、処理回路は、遮られた視野が、イメージセンサが運転者支援機能に用いられるのに依然として十分であると判断してもよい。

また本考案に係る方法は、イメージセンサと、光源と、処理回路とを有するイメージングシステムを作動させる方法であって、前記イメージセンサを用いて、前記イメージセンサの視野にわたる画像データを収集し、前記光源を用いて、光を放射し、前記処理回路を用いて、前記収集された画像データが、前記放射された光の反射に応答して生成された画像データの一部を含んでいるか否かを判断し、前記処理回路を用いて、前記収集された画像データが、前記放射された光の前記反射に応答して生成された画像データの一部を含んでいると判断されたことに応答して、前記イメージセンサの前記視野内に障害物があることを識別する、方法である。

前記イメージングシステムが車両内に形成された自動車用イメージングシステムを備える場合、前記方法は、前記処理回路を用いて、前記収集した画像データを用いて前記車両に関連する車両支援機能を実行する工程をさらに含むものであってもよい。

前記方法において、前記処理回路を用いて、前記収集した画像データ内の前記障害物の位置およびサイズをさらに判断してもよい。

前記方法において、前記処理回路を用いて、前記障害物の前記位置およびサイズを判断することに応答して、前記車両支援機能のうちの少なくとも１つを停止させてもよい。

前記方法において、前記処理回路を用いて、前記障害物の前記位置およびサイズを所定の閾値サイズと比較し、前記障害物の前記サイズが前記所定の閾値サイズよりも小さいと判断することに応答して、前記収集した画像データを用いて前記車両支援機能を実行し続けてもよい。

前記視野が周辺部を有する場合、前記方法は、前記処理回路を用いて、前記障害物の前記位置が、前記視野の前記周辺部であるか否かを判断する工程と、前記近接障害物の前記位置が、前記視野の前記周辺部であると判断したことに応答して、前記収集した画像データを用いて前記車両支援機能を実行し続ける工程と、をさらに含むものであってもよい。

前記処理回路を用いて、前記障害物の前記位置およびサイズを判断したことに応答して、前記障害物が前記イメージセンサの前記視野内に存在していることを、前記車両のユーザに知らせてもよい。

前記方法において、前記光を放射する工程は、前記光を所定のパターンで放射する工程を含むものであってもよい。

前記方法において、前記光を前記所定のパターンで放射する工程は、前記処理回路を用いて、前記光源を第１の期間、スイッチオフし、および前記光源を、前記第１の期間の後の第２の期間、選択された色の光を放射するように制御する工程を含むものであってもよい。

前記方法において、前記光を前記所定のパターンで放射する工程は、前記処理回路を用いて、前記光源を、前記第２の期間の後の第３の期間、スイッチオフし、および前記光源を、前記第３の期間の後の第４の期間、前記第１の色とは異なる第２の色の光を放射するように制御する工程をさらに含むものであってもよい。

前記イメージセンサの前記視野内に障害物が存在することを識別する工程は、 前記イメージセンサの１０センチメートル以内に障害物があることを識別する工程を含むものであってもよい。

本考案の実施形態に係るイメージングシステムおよびホストサブシステムを含む自動車システム等の例示的なシステムを示す略図である。 本考案の実施形態に係るイメージセンサ検証動作を実行するために、対応するイメージセンサの近接障害物を検出するのに用いられる光源を含むカメラモジュールを示す略図である。 本考案の実施形態に係る、近接障害物検出動作を実行して、図１および図２に示すタイプのイメージングシステムの正しい動作を検証するのに用いることができる各ステップを説明するためのフローチャートである。 本考案の実施形態に係るイメージングシステム検証動作を実行するために、図２に示すタイプの光源によって用いられる光変調スキームを示す略図である。 図１〜図４の実施形態を採用したシステムを示すブロック図である。

図１は、イメージセンサを用いて画像を捉えるイメージングシステムと、それに対応するホストサブシステムとを有する本考案の実施形態に係るシステムを示す略図である。図１のシステム１００は、例えば、車両安全システム（アクティブ制動システムまたは他の車両安全システム）、監視システム、カメラ、携帯電話機、ビデオカメラ等の電子装置、または、デジタル画像データを撮映する他の電子装置であってもよい。

図１に示すように、システム１００は、イメージングシステム１０等のイメージングシステムと、ホストサブシステム２０等のホストサブシステムとを含んでいる。イメージングシステム１０は、カメラモジュール１２を含んでいる。カメラモジュール１２は、１つ以上のイメージセンサ１４と、１つ以上の対応するレンズとを含んでいる。カメラモジュール１２内のそれらのレンズは、実施例として、Ｍ×Ｎアレイに配列されたＭ×Ｎ個の個々のレンズを含んでいる。個々のイメージセンサ１４は、（実施例としての）対応するＭ×Ｎのイメージセンサアレイ内に配列され、ＭおよびＮの値は、それぞれ、１以上であってもよく、それぞれ２以上であってもよく、１０を超えてもよく、または、他の任意の適当な数を有してもよい。

カメラモジュール１２内の各イメージセンサは同一であってもよく、または、所定のイメージセンサアレイ集積回路内に、異なるタイプのイメージセンサが含まれていてもよい。各イメージセンサは、（実施例として）４８０×６４０イメージセンサ画素の解像度を備えたビデオグラフィックスアレイ（ＶＧＡ）センサであってもよい。また、イメージセンサ画素の他の構成も、必要に応じて、イメージセンサのために用いてもよい。例えば、ＶＧＡ解像度より大きな解像度を備えたイメージセンサ（例えば、高解像度イメージセンサ）、ＶＧＡ解像度より小さな解像度を備えたイメージセンサおよび／またはすべてのイメージセンサが同一ではないイメージセンサアレイを用いてもよい。

各レンズは、画像撮映動作中に、関連するイメージセンサ１４上に光の焦点を合わせることができる。イメージセンサ１４は、その光をデジタルデータに変換する受光素子（すなわち、画素）を含む。イメージセンサは、任意の数（例えば、数百、数千、数百万以上）の画素を有していてもよい。例えば、典型的なイメージセンサは、数百万の画素（メガピクセル）を有していてもよい。実施例として、イメージセンサ１４は、バイアス回路（例えば、ソースフォロア負荷回路）、サンプルホールド回路、相関二重サンプリング（ＣＤＳ）回路、増幅回路、アナログデジタル変換（ＡＤＣ）回路、データ出力回路、メモリ（例えば、バッファ回路）、アドレス回路等を含んでいてもよい。

イメージセンサ１４からの静止画データおよびビデオ画像データは、路２６を介して制御および処理回路１６に供給される。制御および処理回路１６は、データフォーマット、ホワイトバランスおよび露光の調節、ビデオ画像安定化の実施、顔検出等の画像処理機能を実行するのに用いられる。また、制御および処理回路１６は、必要に応じて、生カメラ画像ファイルを圧縮（例えば、ジェイペグすなわちＪＰＥＧフォーマットに）するのに用いてもよい。

システムオンチップ（ＳＯＣ）と称される場合もある典型的な構成においては、カメラセンサ１４と、制御および処理回路１６とは、共通の半導体基板（例えば、共通のシリコンイメージセンサ集積回路ダイ）上に実装される。必要に応じて、カメラセンサ１４と処理回路１６とは、別々の半導体基板上に形成してもよい。例えば、カメラセンサ１４と処理回路１６とは、積層されている別々の基板上に形成してもよい。

イメージングシステム１０は、路１８を介して、取得した画像データをホストサブシステム２０に伝えることができる。システム１００が自動車用イメージングシステムである状況においては、ホストサブシステム２０は、制動または操縦等の車両機能を制御するための制御信号を（例えば、車両安全システム動作を実行するために）外部装置へ供給するアクティブ制御システムを含んでいてもよい。ホストサブシステム２０は、画像中の物体を検出し、画像フレーム間の物体の動きを検出し、画像中の物体までの距離を測定し、イメージングシステム１０によって提供された画像をフィルタリングし、または別の形で処理するための処理ソフトウェアを含んでいてもよい。ホストサブシステム２０は、イメージセンサに関連する検証データが、イメージセンサが正しく機能していないことを示している場合に、イメージングシステム１０を停止させるように、および／または警告を発するように（例えば、車のダッシュボード上の警告灯、可聴警告、またはその他の警告）構成された警告システムを含んでいてもよい。

システム１００は、必要に応じて、多数の高レベル機能をユーザに提供してもよい。例えば、コンピュータ、または高機能携帯電話機においては、ユーザに、ユーザアプリケーションを実行する能力を与えてもよい。それらの機能を実施するために、システム１００のホストサブシステム２０は、キーパッド、入出力ポート、ジョイスティック、ディスプレイ等の入出力装置２２と、記憶および処理回路２４とを有していてもよい。記憶および処理回路２４は、揮発性および不揮発性のメモリ（例えば、ランダムアクセスメモリ、フラッシュメモリ、ハードドライブ、半導体ドライブ等）を含んでいてもよい。また、記憶および処理回路２４は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、特定用途向け集積回路等も含んでいてもよい。

カメラモジュール１２は、イメージングシステム１０の動作中に、画像フレームを連続的に収集してホストサブシステム２０へ供給することができる。イメージセンサ１４に関連する検証回路（verification circuit）は、画像収集動作中に、（例えば、各画像フレーム収集の後に、他の画像フレームの収集毎に、５つの画像フレームの収集毎に、または画像フレームの収集の一部の間になど）時々作動させてもよい。検証回路が作動した時に収集した画像は、検証情報を含む検証データを含んでいてもよい。検証データは、画像処理回路１６および／または記憶および処理回路２４へ供給することができる。

画像処理回路１６は、その検証データを、画像処理回路１６に格納されている所定のデータセットと比較するように構成してもよい。その比較の後に、画像処理回路１６は、ステータス情報または他の検証情報（例えば、イメージセンサ１４の正しい／予測されるパフォーマンスを検証する情報、または、イメージセンサ１４の間違ったパフォーマンスを識別する情報）をホストサブシステム２０へ送信してもよい。

イメージングシステム１０のための構成の実施例を図２に示す。図２に図示されているように、イメージングシステム１０は、イメージセンサ１４と、制御および処理回路１６と、光源３６とを含んでいる。

イメージセンサ１４は、行列状に配列された数百、数千、または数百万の画素を有する画素アレイを含むことができる。イメージセンサ１４は、その画素アレイを覆う覆蓋２８を有していてもよい。覆蓋２８は、イメージセンサ１４がそこを介して画像光を受光するための何らかの所望の透明材料を含んでいてもよい。覆蓋２８は、例えば、ガラス、プラスチック、プレキシガラス、ポリマー、または、他の何らかの所望の材料から形成することができる。覆蓋２８は、ダストおよび微粒子が画素アレイ２８に達して、イメージセンサ１４によって得られる画像の品質に悪い影響を及ぼすのを防ぐことができる。

イメージセンサ１４が車両の内部に取り付けられる状況において、保護層３２は、車両内において、そのイメージセンサを車両の外部から隔離するのに用いることができる。保護層３２は、イメージセンサ１４が、車両の周囲の正確な画像を捉えることができるように、透明材料で形成してもよい。保護層３２は、例えば、ガラス、プラスチック、プレキシガラス、または、他の何らかの所望の材料で形成することができる。保護層３２は、泥やダスト等の外部からの微粒子が車両の内部に達するのを防ぐことができる。しかし、保護層３２は、車両の外部に対して露出しているため、埃、ダスト、泥、油、雨、雪または昆虫等の外部要素によって遮られ易い。この実施例は、例示的なものにすぎない。

必要に応じて、覆蓋２８および／または保護層３２を省いてもよい。光源３６は、（例えば、蓋２８上の近接障害物を検出するために）蓋２８の背後に形成してもよい。

イメージセンサ１４は、視野３０を有する。イメージセンサ１４は、視野３０から受光した光に応答して、画像データを生成することができる。視野３０は、所望のどのようなサイズおよび形状であってもよく、それらは、イメージセンサ１４の特定の実施状況に応じて決められる。

システム１０の動作中（例えば、システム１０がその上に形成されている自動車の動作中）、イメージセンサ１４の視野３０は、近接障害物３４によって遮られる可能性がある。障害物３４は、例えば、汚れ、油の付着、指紋、埃、ダスト、泥、水、または、視野３０内のその他のデブリである可能性がある。この近接障害物は、その障害物の背後のシーンを遮ることにより、イメージセンサ１４が正確な画像データを得ることを妨げる可能性がある。図２に図示されているように、近接障害物３４は、保護層３２の外側面上に位置している。しかし、この実施例は、例示的なものにすぎない。一般的に、障害物３４は、覆蓋２８の上、層３２の内側面上、または、視野３０内の他の箇所に位置している可能性がある。

イメージングシステム１０が車両安全システムに用いられる状況においては（すなわち、自動車用イメージングの産業規制基準に準拠するために）、（例えば、イメージセンサ１４を含む）イメージングシステム１０が正しく機能していることを検証することが必要である。例えば、近接障害物３４が視野３０内にある場合、イメージセンサ１４は、車両の周りの正確な画像データを得ることができず、それによって、イメージセンサ１４が正しく機能することが妨げられる可能性がある。このことは、イメージセンサ１４を実装する車両安全システムの有効性を低下させる可能性がある。そのため、自動車用イメージングシステムの適切なパフォーマンスを検証するための改良されたシステムおよび方法を提供することが所望される。

図２の実施例において、システム１０は、視野３０内に存在する近接障害物３４等の近接障害物があるか否かを判断するための光源３６を含むことができる。図２に図示されているように、光源３６は、光３８等の光を放射することができる。近接障害物３４が存在しない場合、光３８は、イメージセンサ１４によって捉えられることなく、保護層３２を通過して車両の外部へ出ていく。それにより、イメージセンサ１４は、近接障害物３４が存在していない場合は、光３８を検出することなく、車両１００の周りの画像光を捉えることができる。しかし、近接障害物３４等の障害物が存在する場合には、放射された光３８が、反射光４０によって示されるように、近接障害物３４で反射する可能性がある。よってイメージセンサ１４は、視野３０の一部の中で反射光４０を検出することができる。イメージセンサ１４および回路１６は、その反射光を処理して、障害物３４が視野３０内に存在していることを判断することができる。

制御および処理回路１６は、（例えば、対応する制御信号を用いて）光源３６およびイメージセンサ１４を制御するように構成することができる。必要に応じて、処理回路１６は、１つまたは以上の所定の色（波長）で光３８を放射するように光源３６を制御してもよい。処理回路１６は、イメージセンサ１４によって生成された画像データを受け取ることができ、およびその画像データを処理して、障害物３４が視野３０内に存在しているか否かを判断することができる。例えば、処理回路１６は、受け取った画像データ内の所定の色の光を検出することができ、およびその光が光源３６によって放射されたこと（それによって、障害物３４が存在していることを示している）を判断することができる。

必要に応じて、制御および処理回路１６は、所定の時間および／または色パターン（例えば、時間に関して所定の強度および色パターン）で光を放射するように光源３６を制御してもよい。その所定の時間および／または色パターンは、イメージセンサ１４によって収集した画像データ内での、いわゆる「誤判定」の検出を避けるように選択してもよい。誤判定は、回路１６が、そのような障害物が実際には存在していない場合に、イメージセンサ１４の視野を遮る近接障害物があることを間違って判断した場合に生じる。光３８に対して適切なパターンを選択することにより、処理回路１６は、受け取った画像データ内で検出されるそのような何らかの誤判定を抑制することができる。

光源３６が、単色（例えば、赤色光）の光を絶えず放射する実施例について考察する。この実施例において、イメージセンサ１４は、その視界内の赤色光をいつでも検知する。例えば、車両１００が赤信号で停止した場合、または、イメージセンサ１４が停止標識を検出した場合、回路１６は、収集した画像データ内の赤色光を検出して、障害物３４が実際に存在しているか否かに関わらず、近接障害物が存在していると判断することになる。このことは、イメージセンサ１４が、周囲の赤色光（例えば、背景から受光した赤信号）を、光源３６によって近接障害物から反射した赤色光であると間違って特徴付けている可能性があるため、障害物３４が存在していない場合に、誤判定の検出につながる可能性がある。

そのため、そのような誤判定を避けるために、制御および処理回路１６は、光源３６を用いて、所定の時間および／または色パターンで光を放射することができる。その所定のパターンは、放射光３８の色の時間変動、放射光３８の強度、光３８が放射されている間の持続期間、または、放射光３８のその他の何らかの所望の特性を含んでもよい。

このような所定パターンの一実施例として、光源３６は、第１の時間間隔に赤色光および青色光を放射し、第１の時間間隔の後の第２の時間間隔には光を放射せず、第２の時間間隔の後の第３の時間間隔に緑色光を放射し、および第３の時間間隔の後の第４の時間間隔には光を放射しなくてもよい。このパターンは、イメージセンサ１４の動作中に恒久的に繰り返してもよい。そして、制御および処理回路１６は、イメージセンサ１４から受け取った画像データを処理して、その画像データを経時的に、光源３６から放射された光の所定のパターンと比較することができる。必要に応じて、回路１６は、収集した画像データの同じ部分が、所定のパターンの光を示している場合に、障害物３４が存在していると判断してもよい（例えば、障害物３４が位置している視野３０の部分から受光した反射光４０が、光３８がそれによって放射された所定の時間／色パターンに従う場合、回路１６は、障害物が存在し、その視野の部分がその障害物に関連していることを識別してもよい）。

上記の実施例で説明した光のパターンは、例示的なものにすぎない。一般的には、イメージセンサ検証動作を実行するために（すなわち、イメージセンサの視野内の障害物を検出するために）、任意の所望のパターンの光を光源３６から放射することができる。所定のパターンは、任意の適切な間隔（例えば１００分の１秒未満、１０分の１秒未満、１秒未満、または、１秒より長い）で変化する光の色を含んでもよい。任意の適切な色または色の組合せを、任意の所望の順で光源３６から可変的に放射してもよい。任意の適切な強度を有する光を、任意の所望の順に光源３６から可変的に放射してもよい。一般的には、その所定のパターンが複雑であればあるほど、近接障害物の存在を判断する際に、その制御および処理回路が提供するであろう確実性の程度は高くなる（例えば、光３８がそれによって放射された所定のパターンを示す画像データが、車両の周囲から受光した周辺光である可能性は低くなる）。同様に、放射されたパターンがイメージセンサによって観測される期間が長くなればなるほど、近接障害物の存在を判断する際に（例えば、誤判定と比較して）その制御および処理回路の判断の確実性の程度は高くなる。

光源３６は、１つ以上の発光ダイオード（ＬＥＤ）、１つ以上のレーザ、調製可能なカラーフィルタ素子を備えた光源、または、発光可能な他の何らかのデバイス等の任意の所望の光源を含んでいてもよい。くわえて、光源という用語を用いることは、存在する光源の数に関して、多少なりとも制限があることを意味してはいない。例えば、光源３６は、任意の数の光源（例えば、２つの光源、３つの光源、４つの光源、４つより多い光源、１０個の光源等）を含むことができる。複数の光源がある実施形態において、各光源は、単色光を放射すること、または、複数色の光を放射することが可能であってもよい。

イメージセンサ１４が保護層３２の背後に配置されている状況において、イメージセンサ１４は、その保護層の背後の所望の距離４２に配置することができる。距離４２は、例えば、２センチメートル未満、２〜１０センチメートルであってもよく、または、１０センチメートルより長くてもよい。近接障害物３４は、本願明細書においては、そのイメージセンサから約５０センチメートル以下に位置している障害物として定義してもよい（例えば、障害物３４は、そのイメージセンサから２センチメートルに、そのイメージセンサから１０センチメートル未満に、そのイメージセンサから２〜１０センチメートルに、そのイメージセンサから５０センチメートル未満等に位置していてもよい）。

所望の時間／色パターンの光３８を放射するように光源３６を変調させることにより、処理回路１６は、（例えば、誤判定を抑制するために）近接障害物３４の存在を示す反射光４０と、システム１０の周囲から受光した周辺光とをより正確に区別することができる。

図３は、図２のイメージングシステム１０等の検証能力を備えたイメージングシステム（例えば、車両安全システムに用いられる画像データを収集する自動車用イメージングシステム）によって実行される例示的なステップからなるフローチャートを示す。

ステップ４４において、イメージセンサ１４等のイメージセンサは、画像データを収集し始める。例えば、イメージセンサ１４は、視野３０内で受光した光に応答して、画像データのフレームから成る連続シーケンスを収集してもよい。収集した画像データは、制御および処理回路１６等の制御および処理回路によって処理することができる。収集した画像データは、ホストサブシステム２０等のホストサブシステムによって、車両安全システムで用いることができる。

ステップ４６において、光源３６等の光源は、光３８を放射し始める。制御および処理回路１６は、光源３６が、（例えば、異なる色の光から成る所定のシーケンスで）所定のパターンで光を放射するように光源３６を制御することができる。制御および処理回路１６は、光源３６によって放射された光３８のパターンを能動的に調節してもよく、または、光源３６は、同じパターンの光を常に放射していてもよい。そのパターンは、光が放射されない時間の間隔と、特定の色またはさまざまな色の光が放射される時間の間隔とを含んでもよい。

ステップ４８において、制御および処理回路１６は、イメージセンサ１４によって収集した画像データをモニタする。例えば、回路１６は、視野３０にわたって受光した光に応答して、センサ１４によって収集された画像データのフレームを受け取ることができる。その画像データは、システム１０の周囲から（例えば、車両１００が走っている道路から）受光した光に応答して生成された画像データ（例えば、画像フレームのシーケンスの部分）を含んでもよく、また、近接障害物３４が視野３０内に存在している場合は、反射光４０に応答して生成された画像データを含んでもよい。

回路１６は、受け取った画像データを処理（分析）して、受け取った画像データが、反射光４０に応答して生成された画像データ（例えば、光源３６によって放射された光３８の反射バージョン）を含んでいるか否かを判断することができる。例えば、制御および処理回路１６は、収集された画像データが、所定期間（例えば、ミリ秒、秒、または、数秒よりも長く）にわたって光源３６によって放射された光のパターンに一致する部分を含んでいるか否かを判断してもよい。回路１６が、反射光４０に応答して生成された何らかの部分（例えば、光源３６がそれによって光３８を放射した所定のパターンを有する部分）を含んでいないと判断した場合、回路１６は、障害物が存在していないと判断することができ、および障害物のために、収集した画像データをモニタし続けることができる。画像データが、反射光４０に応答して生成された部分が、比較的短期間（例えば、所定の閾値時間未満の期間）だけ、反射光４０に応答して生成された部分を含んでいると回路１６が判断した場合、回路１６は、障害物が存在していないと判断することができる（例えば、この状況において、反射光４０に応答して生成された画像データは、通り過ぎていく虫またはデブリの断片等の視野３０内の単に一時的な物体から反射される可能性もある）。

画像データが、その期間にわたって、反射光４０に応答して生成された部分を含むと回路１６が判断した場合（例えば、画像データが、光源３６によって放射された際の所定のパターンを有する部分を含むと回路１６が判断した場合）、回路１６は、近接障害物３４が存在していると判断することができ、そして、処理をステップ５０へ進める。必要に応じて、制御および処理回路１６は、収集した画像データが、その光源によって放射された光に一致する、イメージセンサ１４の視野３０内の箇所（例えば、その障害物を含む、収集された画像データの部分）を判断してもよい。

ステップ５０において、制御および処理回路１６は、収集した画像データに基づいて、適切な動作を行う。例えば、制御および処理回路１６は、そのイメージセンサが車両１００の周囲から必要最低限の画像データを得ることを障害物が妨げると判断された場合に、そのイメージングシステムを停止させてもよい。別の適切な実施例においては、その制御および処理回路は、障害物が、イメージセンサの動作にほとんど影響を与えないほど十分に小さいと判断された場合、そのイメージングシステムを通常通りに作動させ続けてもよい。例えば、処理回路１６は、画像データを用いて車両支援機能を実行する場合、その中に障害物が位置している収集した画像データの部分を処分するか、または無視してもよい（例えば、その制御および処理回路は、障害物が、イメージセンサの視野の周辺部に位置していると判断された場合、そのイメージングシステムを通常通りに作動させ続けてもよい）。別の実施例として、制御および処理回路１６は、そのイメージングシステムに検査および／または修理が必要であることをユーザに知らせてもよい（例えば、ユーザに対して警告をディスプレイに出してもよい、可聴警告を出してもよい、等）。必要に応じて、そのイメージングシステムは、警告が出されている間も、車両支援機能のために利用され続けてもよい。

図４は、光３８を放射するために、光源３６が利用することができる例示的な光変調スキームの略図である。光源３６は、所定の持続期間（タイムフレーム）５２Ａの間、スイッチオフされる。続いて、赤色および青色の光を、所定のタイムフレーム５２Ｂの間、放射させ、その後、光源３６が、所定のタイムフレーム５２Ｃの間、スイッチオフされる。続いて、緑色光を、所定のタイムフレーム５２Ｄの間に放射する。このパターンは、イメージングシステム１０が車両によって使用されている間、連続的に繰り返してもよい。処理回路１６は、収集した画像データを分析して、タイムフレーム５２Ａ〜５２Ｄによって与えられる光の繰り返しパターンを有する画像データが既に収集されているか否かを判断し、および画像データが既に収集されているという判断に応答して、タイムフレーム５２Ａ〜５２Ｄによって記述されている光のパターンを照合して、適切な動作を行う。あるいは、このパターンは、電力を節約するために、単に断続的に（例えば、１分毎、３０秒毎、２分毎等）繰り返してもよい。タイムフレーム５２Ｂにおいて放射された赤色および青色の光は、タイムフレーム５２Ｄにおいて放射される緑色のように、同じか、または異なる光源から放射してもよい。

図４の実施例は、例示的なものにすぎない。タイムフレーム５２Ａ，５２Ｂ，５２Ｃおよび５２Ｄの長さ（持続期間）は、互いに等しくても異なっていてもよい。例えば、タイムフレーム５２Ａ，５２Ｂ，５２Ｃおよび５２Ｄの長さは、すべて１秒に等しくてもよい。あるいは、タイムフレーム５２Ａ，５２Ｂ，５２Ｃおよび５２Ｄの長さは、それぞれ、１秒、０．５秒、１．２秒および２秒に等しくてもよい。タイムフレーム５２Ａ，５２Ｂ，５２Ｃおよび５２Ｄの長さは、１００分の１秒未満、１０分の１秒未満、１秒未満、１分未満であってもよく、または、１分より長くてもよい。タイムフレーム５２Ａ，５２Ｂ，５２Ｃおよび５２Ｄにおいて示されている光の特定の色は、例示的なものにすぎない。一般的には、どのような色の光（例えば、赤色光、緑色光、青色光、オレンジ色の光、黄色の光、白色光、紫外線、紫色の光、赤外光、赤色および青色光、緑色および青色光、赤色および緑色光のどの所望の組合せ等）も、利用可能な各タイムフレーム中に放射することができる。タイムフレーム５２Ａ，５２Ｂ，５２Ｃおよび５２Ｄにおける放射光において変化される属性は、色である必要はない。例えば、光の強度を、各タイムフレームにおいて変えてもよい。必要に応じて、いずれかのタイムフレームまたはすべてのタイムフレームにおいて、強度と色とを変えてもよい。

図５は、撮像装置７０を含む、デジタルカメラ等の典型的なプロセッサシステム５４を単純な構成で示す図である。撮像装置７０は、イメージセンサＳＯＣ上に形成された画素アレイ７２を含んでいる。撮像装置７０は、光を変調させる光源を含んでいる。画素アレイは、変調された光の反射を検知することができる。続いて、その撮像装置は、近接障害物が存在していることを判断する。

プロセッサシステム５４は、撮像装置７０を含むデジタル回路を有するシステムの例示である。このようなシステムは、制限されることなく、コンピュータシステム、静止またはビデオカメラシステム、スキャナ、マシンビジョン、車両ナビゲーション、テレビ電話、監視システム、オートフォーカスシステム、スタートラッカーシステム、動作検出システム、画像安定化システム、および撮像装置を用いる他のシステムを含んでいてもよい。

デジタル静止またはビデオカメラシステムであるプロセッサシステム５４は、シャッターリリースボタン５６が押されたときに、画素アレイ７２等の画素アレイ上に画像の焦点を合わせるレンズ６４等のレンズを含んでいてもよい。プロセッサシステム５４は、中央処理ユニット（ＣＰＵ）５８等の中央処理ユニットを含んでいる。ＣＰＵ５８は、カメラ機能および１つ以上の画像フロー機能を制御し、およびバス６２等のバスを通じて１つ以上の入出力（Ｉ／Ｏ）装置６８と情報をやり取りするマイクロプロセッサであってもよい。

また、撮像装置７０は、バス６２を通じて、ＣＰＵ５８と情報をやり取りをする。システム５４は、ランダムアクセスメモリ（ＲＡＭ）６０および着脱式メモリ６６を含んでいる。着脱式メモリ６６は、バス６２を通じてＣＰＵ５８と情報をやり取りするフラッシュメモリを含んでいてもよい。撮像装置７０は、ＣＰＵ５８と組合せてもよく、記憶装置と組合せても組合せなくてもよく、単一の集積回路上で、または、異なるチップ上で組合せてもよい。バス６２は、単一のバスとして図示されているが、該バスは、１つ以上のバスまたはブリッジ、または、システムコンポーネントと相互接続するのに用いられる他の通信路であってもよい。

イメージングシステムおよびイメージングシステムを作動させる方法を例示するさまざまな実施形態をこれまで説明してきた。イメージングシステムは、イメージセンサの視野にわたって受光した光に応答して、画像データを収集するイメージセンサを含んでいる。撮像装置は、そのイメージセンサの視野内に形成されている透明保護層を含んでいる。また、その撮像装置は、所定のパターンで光を放射する光源と、所定のパターンで光源によって放射された光に応答して、そのイメージセンサによって収集された画像データの部分を検出する処理回路とを含む。その処理回路は、所定のパターンで光源によって放射された光に一致する、そのイメージセンサによって収集された画像データの部分の検出に応答して、その透明保護層上の障害物を識別する。障害物は、そのイメージセンサの１０センチメートル以内にある可能性がある。

その透明保護層は、ガラスで形成してもよく、また、イメージセンサの１０センチメートル以内に形成してもよい。その透明保護層は、車両のフロントガラスであってもよい。イメージングシステムは、イメージセンサからの収集画像データを用いて、駐車支援機能、速度制御機能、自動制動機能、衝突回避機能、または車線維持機能等の車両支援機能を実行するホストサブシステムを含んでいてもよい。光源によって放射される所定のパターンは、所定の時間および色パターンであってもよい。

イメージングシステム（例えば、イメージングシステム１０）を作動させる方法は、イメージセンサの視野にわたって画像データを収集することと、光源を用いて光を放射することと、処理回路を用いて、収集した画像データが、放射光の反射バージョンに応答して生成された画像データの一部を含んでいるか否かを判断することと、その処理回路を用いて、イメージセンサの視野内に障害物があることを識別することとを含む。

さまざまな実施形態において、そのイメージングシステムは、車両支援機能も実行する自動車用イメージングシステムであってもよい。処理回路は、収集した画像データを用いて、障害物の位置およびサイズを判断するのに用いてもよい。処理回路は、障害物の位置およびサイズの判断に応答して、車両支援機能のうちの少なくとも一つを停止させるのに用いてもよい。あるいは、その処理回路は、判断されたサイズを所定の閾値サイズと比較して、その判断されたサイズがその所定の閾値サイズよりも小さい場合には、その車両支援機能を実行し続けてもよい。また、その処理回路は、障害物が、イメージセンサの視野の周辺部に位置していると判断して、車両安全機能を実行し続けてもよい。その処理回路は、そのイメージセンサの視野内に障害物が存在していることを、車両のユーザに知らせてもよい。

光を放射することは、所定のパターンで光を放射することを含んでもよい。その所定のパターンは、第１の期間に、光源をスイッチオフすることと、第１の期間の後の第２の期間に、第１の色の光を放射することと、第２の期間の後の第３の期間に、光源をスイッチオフすることと、第３の期間の後の第４の期間に、第１の色とは異なる第２の色の光を放射することとを含んでもよい。

さまざまな実施形態において、システムは、内部および外部を有する車両と、中央処理ユニットと、メモリと、入出力回路と、画像データを収集する、車両の内部に取り付けられた撮像装置と、その撮像装置を車両の外部から隔離する透明保護層と、車両の内部に取り付けられた光源と、を含んでもよい。その撮像装置は、車両の外部に面していてもよい。光源は、所定のパターンの光を放射してもよい。中央処理ユニットは、収集した画像データ内の所定のパターンの光の反射を識別することによって、イメージセンサの近接障害物を検出できるようになっていてもよい。

上記のことは、他の実施形態で実施することができるこの考案の原理の例示にすぎない。

１４ イメージセンサ
１６ 制御および処理回路
２８ 覆蓋
３０ 視野
３２ 保護層
３４ 近接障害物
３６ 光源
３８ 光
４０ 反射光
５８ ＣＰＵ
６０ ＲＡＭ
６４ レンズ
６６ 着脱式メモリ
７０ 撮像装置

Claims (20)

1. イメージセンサと、光源と、処理回路とを有するイメージングシステムであって、
   前記イメージセンサは、前記イメージセンサの視野にわたる画像データを収集するものであり、
   前記光源は、光を放射するものであり、
   前記処理回路は、前記収集された画像データが、前記放射された光の反射に応答して生成された画像データの一部を含んでいるか否かを判断するものであり、さらに
   前記処理回路は、前記収集された画像データが、前記放射された光の前記反射に応答して生成された画像データの一部を含んでいると判断したことに応答して、前記イメージセンサの前記視野内に障害物があることを識別するものである、イメージングシステム。
2. 前記イメージングシステムが車両内に形成された自動車用イメージングシステムを備え、前記処理回路は、前記収集した画像データを用いて前記車両に関連する車両支援機能を実行するものである、請求項１に記載のイメージングシステム。
3. 前記処理回路は、前記収集した画像データ内の前記障害物の位置およびサイズを判断するものである、請求項２に記載のイメージングシステム。
4. 前記処理回路は、前記障害物の前記位置およびサイズを判断したことに応答して、前記車両支援機能のうちの少なくとも１つを停止させるものである、請求項３に記載のイメージングシステム。
5. 前記処理回路は、前記障害物の前記位置およびサイズを所定の閾値サイズと比較するとともに、比較の結果、前記障害物の前記サイズが前記所定の閾値サイズよりも小さいと判断したことに応答して、前記収集した画像データを用いて前記車両支援機能を実行し続けるものである、請求項３に記載のイメージングシステム。
6. 前記視野が周辺部を有し、
   前記処理回路は、前記障害物の前記位置が前記視野の前記周辺部であるか否かを判断し、前記近接障害物の前記位置が前記視野の前記周辺部であると判断したことに応答して、前記収集した画像データを用いて前記車両支援機能を実行し続けるものである、請求項３に記載のイメージングシステム。
7. 前記処理回路は、前記障害物の前記位置およびサイズを判断したことに応答して、前記障害物が前記イメージセンサの前記視野内に存在していることを、前記車両のユーザに知らせるものである、請求項３に記載のイメージングシステム。
8. 前記光を放射する光源は、前記光を所定のパターンで放射するものである、請求項１に記載のイメージングシステム。
9. 前記光を前記所定のパターンで放射する光源は、前記処理回路によって、第１の期間、スイッチオフされ、および前記第１の期間の後の第２の期間、選択された色の光を放射するように制御される、請求項８に記載のイメージングシステム。
10. 前記光を前記所定のパターンで放射する光源は、前記処理回路によって、前記第２の期間の後の第３の期間、スイッチオフされ、前記第３の期間の後の第４の期間、前記第１の色とは異なる第２の色の光を放射するように制御される、請求項９に記載のイメージングシステム。
11. 前記イメージセンサの前記視野内に障害物が存在することを識別する処理回路は、前記イメージセンサの１０センチメートル以内に障害物があることを識別するものである、請求項１に記載のイメージングシステム。
12. その視野にわたって受光した光に応答して、画像データを収集するように構成されたイメージセンサと、
    前記イメージセンサの前記視野内に形成された透明保護層と、
    所定のパターンで光を放射するように構成された光源と、
    前記光源によって前記所定のパターンで放射された前記光に応答して、前記イメージセンサによって収集された前記画像データの部分を検出するように構成され、および前記画像データの前記部分を検出することに応答して、前記透明保護層上の障害物を識別するように構成された処理回路と、
    を備える、イメージングシステム。
13. 前記透明保護層はガラスを備える、請求項１２に記載のイメージングシステム。
14. 前記透明保護層は、前記イメージセンサから１０センチメートル以内に形成される、請求項１２に記載のイメージングシステム。
15. 前記透明保護層は、自動車用フロントガラスを備える、請求項１４に記載のイメージングシステム。
16. 前記収集した画像データを用いて、前記車両のための車両支援機能を実行するように構成されたホストサブシステムをさらに備える、請求項１５に記載のイメージングシステム。
17. 前記所定のパターンは、所定の時間および色パターンを含む、請求項１２に記載のイメージングシステム。
18. 前記車両支援機能は、駐車支援機能、速度制御機能、自動制動機能、衝突回避機能および車線維持機能から成る群から選択される両安全システム機能を備える、請求項１６に記載のイメージングシステム。
19. 内部および外部を有する車両と、
    中央処理ユニットと、
    メモリと、
    入出力回路と、
    画像データを収集するように構成された撮像装置であって、前記車両の前記内部に取り付けられ、および前記車両の前記外部に面する方向に向けられる前記撮像装置と、
    前記撮像装置を前記車両の前記外部から隔離する透明保護層と、
    前記車両の前記内部に取り付けられた光源とを備え、
    前記光源は、所定のパターンの光を放射するように構成され、および前記中央処理ユニットは、前記収集した画像データ内の前記所定のパターンの光の反射を識別することによって、前記イメージセンサの近接障害物を検出するように構成される、システム。
20. 前記近接障害物は、前記撮像装置の視野内の物理的物体を含み、前記物理的物体は、前記車両の前記外部に位置し、および前記物理的物体は、前記撮像装置の１０センチメートル以内に位置している、請求項１９に記載のシステム。

Images