JP2006157634A

JP2006157634A - 車載撮像システム

Info

Publication number: JP2006157634A
Application number: JP2004346699A
Authority: JP
Inventors: Kenichi Hatanaka; 健一畑中
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2004-11-30
Filing date: 2004-11-30
Publication date: 2006-06-15

Abstract

【課題】車両に搭載した撮像装置の受光部の汚れを防止する車載撮像システムを提供する。
【解決手段】車両前面窓のビデオカメラ１の受光部に対向する面であって、車両前面窓の汚れを除去するワイパーの清掃範囲に矩形状の透過板２を設けてある。透過板２は、可視光及び赤外光を透過する硫化亜鉛（ＺｎＳ）製であって、例えば、５０ｍｍｘ５０ｍｍの寸法を有し、厚さは５ｍｍである。透過板２は、焼結加工処理及び過熱処理により製造することができ、車両前面窓の５０ｍｍ角の領域を切り抜いた箇所に装着する。これにより、透過板２は、ビデオカメラ１の受光部に汚れが付着することを防止する。
【選択図】図１

Description

本発明は、車両に搭載した撮像装置の受光部の汚れを防止する車載撮像システムに関する。

車両（例えば、自動車）の前部に赤外光用のビデオカメラを搭載し、夜間における車両前方の歩行者などを撮像し、撮像した映像をヘッドアップディスプレイなどの表示装置で表示して、運転者に注意を促す前方監視システムが提案されている。

このようなシステムで使用されるビデオカメラの受光部には、遠赤外光を透過する材料が使用されており、通常のガラスは遠赤外光を透過しないため、ビデオカメラの受光部は、車両のフロントグリルなどに車両から露出させて設置する必要があった。

しかし、車両の走行時に、路面からの冠水の跳上げ、降雨などによりビデオカメラの受光部には、汚れが付着し歩行者の視認性が低下する場合があるため、受光部の汚れを検知するセンサをビデオカメラに装着し、汚れを警告するシステムが提案されている（特許文献１参照）。
特開２００１−２１１４４９号公報

しかしながら、特許文献１のシステムにあっては、汚れを検知するための機構を必要とするため、撮像システムのコストが高価になるとともに、ビデオカメラの受光部が汚れた場合には、汚れを拭き取る煩わしさがあった。

本発明は、斯かる事情に鑑みてなされたものであり、可視光及び赤外光を透過する硫化亜鉛製の透過板で撮像装置の受光部を車両外部と隔離してあることにより、撮像装置の受光部に汚れが付着することを防止することができる車載撮像システムを提供することを目的とする。

また、本発明の他の目的は、前記受光部は、運転用窓の一部に設けられた透過板に対向して配置してあることにより、透過板に汚れが付着した場合であっても、従来よりも安価で容易に汚れを除去することができる車載撮像システムを提供することにある。

また、本発明の他の目的は、赤外光を受光する他の受光部と、夫々の受光部を透過した赤外光を前記撮像素子の異なる領域に結像させる光学素子とを備えることにより、１台の撮像装置で、車両前方の歩行者及び車両内の乗員を認識することができる車載撮像システムを提供することにある。

第１発明に係る車載撮像システムは、車両内に搭載され、赤外光を受光する受光部を有し、該受光部を透過した赤外光を撮像する撮像装置を備える車載撮像システムにおいて、可視光及び赤外光を透過する硫化亜鉛製の透過板を備え、前記受光部は、前記透過板により車両外部と隔離されていることを特徴とする。

第２発明に係る車載撮像システムは、第１発明において、前記受光部は、運転用窓に対向して配置してあり、前記透過板は、前記受光部に対向して前記運転用窓の一部に設けてあることを特徴とする。

第３発明に係る車載撮像システムは、第１発明又は第２発明において、前記撮像装置は、撮像素子と、赤外光を受光する他の受光部と、夫々の受光部を透過した赤外光を前記撮像素子の異なる領域に結像させる光学素子とを備えたことを特徴とする。

第１発明にあっては、撮像装置の受光部は、硫化亜鉛製の透過板により車両外部と隔離してある。前記透過板を透過した赤外光は、前記撮像装置で撮像される。また、前記透過板は可視光を透過するため、運転者などの乗員の車両外部への視界を遮らない。車両の走行時に路面からの冠水の跳上げ、又は降雨などが生じた場合であっても、汚れは透過板で遮られるため、撮像装置の受光部には直接汚れが付着しない。

第２発明にあっては、撮像装置の受光部は、運転用窓の一部に設けられた前記透過板に対向して配置してあることにより、前記透過板を透過した赤外光は、撮像装置の受光部を透過し、撮像装置で撮像される。また、前記透過板は可視光を透過するため、乗員の車両外部への視界を遮らない。車両の走行時に路面からの冠水の跳上げ、又は降雨などが生じた場合であっても、汚れは透過板で遮られ、撮像装置の受光部には直接汚れが付着しない。運転用窓に設けられた既存のワイパーは、運転用窓の一部に設けられた透過板に汚れが付着した場合であっても、前記汚れを除去する。

第３発明にあっては、撮像装置の一方の受光部で、車両前方の歩行者を認識するための赤外光を透過させ、透過した赤外光を光学素子で撮像素子の所定の領域で赤外光を撮像する。撮像装置の他方の受光部で、車両内の乗員を認識するための赤外光を透過させ、透過した赤外光を前記光学素子で前記撮像素子の前記所定の領域と異なる領域で赤外光を撮像する。

第１発明にあっては、撮像装置の受光部を透過板により車両外部と隔離することにより、車両の走行時に、路面からの冠水の跳上げ、降雨などにより撮像装置の受光部に汚れが付着することを防止できる。また、前記透過板は、可視光及び赤外光を透過する硫化亜鉛製であるため、乗員の視認性を低下させることなく、歩行者の認識をすることができる。

第２発明にあっては、前記透過板を運転用窓の一部に設けることにより、撮像装置の受光部に汚れが付着することを防止するとともに、前記透過板に汚れが付着した場合であっても、追加の機構を設けることなく、汚れを除去することができ、撮像システムのコストを安価にすることができる。

第３発明にあっては、夫々の受光部を透過した赤外光を前記撮像素子の異なる領域に結像させる光学素子を備えることにより、１台の撮像装置で歩行者を認識するとともに、乗員を認識することができ、撮像システムのコストを安価にすることができる。

以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る車載撮像システムの概要を示す模式図である。図において、１は車両に搭載され、歩行者、及び運転者などの乗員を撮像する遠赤外光用のビデオカメラである。ビデオカメラ１は、車両前面窓内側の上部中央部に設置されてあり、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ用の通信線７を介して歩行者認識用のＥＣＵ３に接続されている。

車両前面窓のビデオカメラ１の受光部に対向する面であって、車両前面窓の汚れを除去するワイパーの清掃範囲に矩形状の透過板２を設けてある。透過板２は、可視光及び赤外光を透過する硫化亜鉛（ＺｎＳ）製であって、例えば、５０ｍｍｘ５０ｍｍの寸法を有し、厚さは５ｍｍである。透過板２は、焼結加工処理及び過熱処理により製造することができ、車両前面窓の５０ｍｍ角の領域を切り抜いた箇所に装着する。これにより、透過板２は、ビデオカメラ１で撮像する遠赤外光を透過するとともに、運転者の肉眼での車両周辺の視界を遮ることもない。

歩行者認識用のＥＣＵ３には、通信線７を介して操作部を有する表示装置４、乗員認識用のＥＣＵ６、エアバックの動作を制御するエアバックＥＣＵ５を接続してある。

図２は、ビデオカメラ１の構成を示すブロック図である。１１は画像撮像部である。画像撮像部１１は、ビデオカメラ１の受光部であり、車両前方からの遠赤外光１８を透過するゲルマニウム製のレンズ１１１を有する。レンズ１１１の受光面は、車両の前方方向に対して垂直方向に配置してあり、透過した遠赤外光をミラー１１３へ導く。

ミラー１１３は、レンズ１１１の光軸が中心に位置するように、前記光軸に対して４５度の傾斜角度を有して配置してあり、レンズ１１１を透過した遠赤外光を反射してプリズム１１４へ導く。プリズム１１４は、直角二等辺三角形の断面を有する三角柱状の形状を有し、ミラー１１３を介して導かれたレンズ１１１の光軸が、一方の斜辺面の中心に位置させ、前記斜辺面が前記光軸に対して４５度の角度をなすように配置されている。プリズム１１４の前記斜辺面には、遠赤外光を反射する誘電体多層膜が形成してある。

プリズム１１４と対向してミラー１１３の反対方向には、ビデオカメラ１の他方の受光部であって、車両内の乗員などからの遠赤外光１９を透過するゲルマニウム製のレンズ１１２を配置してある。レンズ１１２の光軸はレンズ１１１の光軸に一致させてある。レンズ１１２の受光面は、車両の運転者などの乗員の方向に向くように配置してある。プリズム１１４は、レンズ１１２の光軸が、他方の斜辺面の中心に位置させ、前記斜辺面が前記光軸に対して４５度の角度をなすように配置されている。プリズム１１４の前記斜辺面には、遠赤外光を反射する誘電体多層膜が形成してある。

プリズム１１４の頂角方向には、プリズム１１４の各斜辺面で反射された遠赤外光夫々を、後述する遠赤外線撮像素子１１６の異なる領域に結像させるためのゲルマニウム製のレンズ１１５を配置してある。レンズ１１５の光軸が撮像面の中心に位置するように、レンズ１１５と適長の離隔寸法を有して遠赤外線撮像素子１１６を配置してある。

ビデオカメラ１の一方の受光部であるレンズ１１１を透過した遠赤外光１８は、ミラー１１３で反射されプリズム１１４へ導かれる。プリズム１１４で光路を変更された遠赤外光１８は、レンズ１１５を透過して遠赤外線撮像素子１１６の所定の撮像領域で撮像される。また、ビデオカメラ１の他方の受光部であるレンズ１１２を透過した遠赤外光１９は、プリズム１１４へ導かれる。プリズム１１４で光路を変更された遠赤外光１９は、レンズ１１５を透過して遠赤外線撮像素子１１６の前記領域と異なる撮像領域で撮像される。

レンズ１１１、１１２、１１５、ミラー１１３、プリズム１１４、及び遠赤外線撮像素子１１６は、ビデオカメラ１の筐体１１０に収容してある。

遠赤外線撮像素子１１６は、撮像領域毎に入力された遠赤外光１８、１９を、遠赤外光の強度に応じた輝度信号に変換し、信号処理部１２へ出力する。

信号処理部１２は、画像撮像部１１から入力された輝度信号に対して、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行い、処理後の輝度信号を歩行者認識用の画像データ及び乗員認識用の画像データとして一旦画像メモリ１３へ記憶する。この場合、撮像領域毎に画像メモリ１３の歩行者用領域１３１と乗員用領域１３２とに分離して記憶する。

インタフェース部１４は、歩行者認識用のＥＣＵ３又は乗員認識用のＥＣＵ６から送信される指令に従って、画像メモリ１３に記憶された画像データを歩行者認識用のＥＣＵ３又は乗員認識用のＥＣＵ６へ出力するための制御、ビデオカメラ１で撮像した画像の解像度による転送レートの変換、画像データからパケットデータの作成などを行う。また、インタフェース部１４は、制御部１５の制御に従って、画像メモリ１３に記憶された歩行者認識用の画像データを歩行者認識用のＥＣＵ３へ出力し、乗員認識用の画像データを乗員認識用のＥＣＵ６へ出力する。

制御部１５は、バス１６を介して、画像撮像部１１、信号処理部１２、インタフェース部１４の処理を制御する。例えば、歩行者認識用のＥＣＵ３又は乗員認識用のＥＣＵ６からの指令を解釈して、画像撮像部１１が撮像した画像データを画像メモリ１３に記憶する。また、記憶された画像データを読み出し、インタフェース部１４を介して歩行者認識用のＥＣＵ３又は乗員認識用のＥＣＵ６へ出力する。

図３は、歩行者認識用のＥＣＵ３の構成を示すブロック図である。図において、３１はインタフェース部であり、ビデオカメラ１に対する指令の転送、ビデオカメラ１からの画像データの転送を行う。

制御部３５は、インタフェース部３１を介してビデオカメラ１から入力された歩行者認識用の画像データを１フレーム単位毎に画像メモリ３２に記憶する。また、制御部３５は、画像メモリ３２に記憶された画像データをフレーム単位で画像処理ＬＳＩ３４へ出力する。

画像処理ＬＳＩ３４は、歩行者認識部３４１、及び強調表示付与部３４２を備えている。歩行者認識部３４１は、画像メモリ３２から１フレーム単位の画像データを読み出し、読み出した画像データが有する輝度分布と、予め記憶してある歩行者認識用の標準パターンＨ１、Ｈ２、…との類似度を判断し、歩行者認識を行う。

強調表示付与部３４２は、歩行者認識部３４１で歩行者が認識された場合に、認識された歩行者の周囲を枠で囲むなどの強調表示処理を行い、処理後の画像データを出力部３３へ出力する。

画像処理ＬＳＩ３４は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続け、処理後の画像データを出力部３３へ出力する。

出力部３３は、入力された画像データを表示装置４へ出力する。制御部３５は、インタフェース部３１、画像処理ＬＳＩ３４などの動作を制御する。

表示装置４は、歩行者認識用のＥＣＵ３から出力された画像データに基づき、外界の状況とともに、強調表示された歩行者をディスプレイに表示する。

図４は、乗員認識用のＥＣＵ６の構成を示すブロック図である。図において、６１はインタフェース部であり、ビデオカメラ１に対する指令の転送、ビデオカメラ１からの画像データの転送を行う。

制御部６５は、インタフェース部６１を介してビデオカメラ１から入力された乗員認識用の画像データを１フレーム単位毎に画像メモリ６２に記憶する。また、制御部６５は、画像メモリ６２に記憶された画像データをフレーム単位で画像処理ＬＳＩ６４へ出力する。

画像処理ＬＳＩ６４は、乗員認識部６４１を備えている。乗員認識部６４１は、画像メモリ６２から１フレーム単位の画像データを読み出し、読み出した画像データが有する輝度分布と、予め記憶してある乗員の姿勢を示す標準パターンＪ１、Ｊ２、…との類似度を判断し、乗員が前方向、後方向、左方向、又は右方向のいずれの方向に姿勢が傾いているかを判断し、判断結果を、インタフェース部６１を介して後述するエアバックＥＣＵ５へ出力するとともに、処理後の画像データを出力部６３へ出力する。

画像処理ＬＳＩ６４は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続け、前記判定結果をエアバックＥＣＵ５へ出力するとともに、処理後の画像データを出力部６３へ出力する。

出力部６３は、入力された画像データを表示装置４へ出力する。制御部６５は、インタフェース部６１、画像処理ＬＳＩ６４などの動作を制御する。

表示装置４は、乗員認識用のＥＣＵ６から出力された画像データに基づき、認識した乗員をディスプレイに表示する。

エアバックＥＣＵ５は、乗員認識用のＥＣＵ６から出力された乗員の姿勢を示す判定結果を受信する。エアバックＥＣＵ５は、車両の衝突などの異常事態を検出した場合は、受信した乗員の姿勢を示す判定結果に基づいて、乗員に対する衝撃を最も緩和するように、車両内の所定位置に予め設置してある複数のエアバックの動作順序などを決定、決定した順序で各エアバックが動作を行なうように制御信号を各エアバックへ送信する。

次に本発明に係る車載撮像システムの動作について説明する。運転者が、表示装置４に備えられた操作部を操作してビデオカメラ１の動作スイッチをオンにすると、動作信号を前記操作部から受信した歩行者認識用のＥＣＵ３又は乗員認識用のＥＣＵ６夫々は、インタフェース部３１、６１を介して、初期コマンドをビデオカメラ１へ送出する。

初期コマンドを受信したビデオカメラ１は、画像撮像部１１から車両の前方又は車両内の撮像を開始する。信号処理部１２は、撮像した画像データを、一旦画像メモリ１３の歩行者用領域１３１又は乗員用領域１３２に記憶された後に、１フレーム分の画像データごとに同期させて、インタフェース部１４を介して、歩行者認識用のＥＣＵ３又は乗員認識用のＥＣＵ６へ送出される。

歩行者認識用のＥＣＵ３は、１フレーム分の画像データを一旦画像メモリ３２に記憶する。画像処理ＬＳＩ３４は、画像メモリ３２に記憶された画像データを読み出し、歩行者を認識するための画像処理を行った後、処理後の画像データを表示装置４へ出力する。

乗員認識用のＥＣＵ６は、１フレーム分の画像データを一旦画像メモリ６２に記憶する。画像処理ＬＳＩ６４は、画像メモリ６２に記憶された画像データを読み出し、乗員の姿勢を認識するための画像処理を行った後、処理後の画像データを表示装置４へ出力するともに、乗員の姿勢の判定結果をエアバックＥＣＵ５へ出力する。

エアバックＥＣＵ５は、車両の衝突などの異常事態を検出した場合は、乗員認識用のＥＣＵ６から受信した乗員の姿勢を示す判定結果に基づいて、乗員に対する衝撃を最も緩和するように、車両内の所定位置に予め設置してある複数のエアバックの動作順序などを決定、決定した順序でエアバックの動作を制御する。

図５は表示装置４で表示する画像の例を示す説明図である。図に示すように、表示面は２分割され、表示面Ｄ１８では、ビデオカメラ１の一方の受光部であるレンズ１１１を透過した遠赤外光１８を撮像し、撮像して得られた画像データに基づいて歩行者を認識し、認識した歩行者を矩形状の強調表示で囲んで運転者の注意を促す。表示面Ｄ１９では、ビデオカメラ１の他方の受光部であるレンズ１１２を透過した遠赤外光１９を撮像し、撮像して得られた画像データに基づいて乗員の姿勢を認識し、認識した乗員を表示する。

以上説明したように、本発明にあっては、ビデオカメラ１を車両前面窓内側に配置し、ビデオカメラ１の受光部であるレンズ１１１に対向して、車両前面窓の一部に可視光及び赤外光を透過する硫化亜鉛製の透過板２を設けることにより、車両走行時に路面からの冠水の跳上げ、又は降雨などによりビデオカメラ１の受光部に汚れが付着することを防止できる。また、透過板２は、可視光及び赤外光を透過することにより、車両前面窓に設けた場合であっても、運転者の車両周辺の視界の妨げにはならない。また、車両前面窓を清掃する既存のワイパーにより透過板２に付着した汚れを除去することができ、追加の機構を装備する必要が無く、安価な車載撮像システムを提供することができる。また、夫々の受光部を透過した遠赤外光を遠赤外線撮像素子１１６の異なる撮像領域で撮像させるプリズム１１４を用いることにより、車両前方と車両内とを１台のビデオカメラ１で撮像することができ、高価な遠赤外線撮像素子１１６を共用化でき、安価な車載撮像システムを提供することができる。

上述の実施の形態においては、プリズム１１４を使用する構成であったが、これに限定されるものではなく、遠赤外光の光路を屈折させることができればよく、プリズム１１４に代えてミラーを使用する構成であってもよい。

上述の実施の形態においては、車両前面窓に透過板２を設ける構成であったが、透過板２を装着する箇所は、これに限定されるものではなく、車両後面窓に設ける構成であってもよい。また、ビデオカメラ１の搭載位置に応じて、ビデオカメラ１の受光部に対向する位置に透過板２を設けることができる。例えば、ビデオカメラ１をヘッドライトの内部周辺に設置するような場合は、ヘッドライト用の窓の一部に透過板２を使用することもできる。

上述の実施の形態においては、レンズ１１１、１１２、１１３の材料としてゲルマニウムを使用するものであったが、これに限定されるものではなく、カルコゲンガラス、硫化亜鉛（ＺｎＳ）などを用いる構成であってもよい。

上述の実施の形態において、遠赤外線撮像素子１１６としては、ボロメータ型、焦電型、サーモパイル型、ＳＯＩダイオードなどの撮像素子を用いることができる。

上述の実施の形態においては、遠赤外光用のビデオカメラ１は、近赤外光用のビデオカメラ又は中赤外光用のビデオカメラを用いる構成であってもよい。

本発明に係る車載撮像システムの概要を示す模式図である。ビデオカメラの構成を示すブロック図である。歩行者認識用のＥＣＵの構成を示すブロック図である。乗員認識用のＥＣＵの構成を示すブロック図である。表示装置で表示する画像の例を示す説明図である。

符号の説明

１ビデオカメラ
２透過板
３歩行者認識用のＥＣＵ
４表示装置
５エアバックＥＣＵ
６乗員認識用のＥＣＵ
１１１、１１２、１１５レンズ
１１３ミラー
１１４プリズム
１１６遠赤外線撮像素子

Claims

車両内に搭載され、赤外光を受光する受光部を有し、該受光部を透過した赤外光を撮像する撮像装置を備える車載撮像システムにおいて、
可視光及び赤外光を透過する硫化亜鉛製の透過板を備え、
前記受光部は、
前記透過板により車両外部と隔離されていることを特徴とする車載撮像システム。
前記受光部は、
運転用窓に対向して配置してあり、
前記透過板は、
前記受光部に対向して前記運転用窓の一部に設けてあることを特徴とする請求項１に記載の車載撮像システム。
前記撮像装置は、
撮像素子と、
赤外光を受光する他の受光部と、
夫々の受光部を透過した赤外光を前記撮像素子の異なる領域に結像させる光学素子とを備えたことを特徴とする請求項１又は請求項２に記載の車載撮像システム。