JP4970861B2

JP4970861B2 - 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム

Info

Publication number: JP4970861B2
Application number: JP2006188476A
Authority: JP
Inventors: 孝之辻; 裕一中西; いずみ近藤
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2006-07-07
Filing date: 2006-07-07
Publication date: 2012-07-11
Anticipated expiration: 2026-07-07
Also published as: JP2008015931A

Description

本発明は、車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、および当該車両周辺監視システムを構築するシステムに関する。

車載の赤外線カメラにより撮像された車両の周辺画像に基づき、当該車両と接触する可能性がある人間等の物体の有無を判定する技術が提案されている（たとえば、特許文献１参照）。
特開２００１−６０９６号公報

しかし、人間と当該建造物等とが重なると、車両の周辺画像のグレースケール画像において図４に示されているように人間（対象物体）Ｐが背景の建造物に紛れ込んでしまい、対象物体Ｐの存在を認識することが困難となる場合がある。すなわち、図４に示されているグレースケール画像から図５に示されているように４つの高輝度領域（白抜き部分）を含む２値化画像が得られても、これらの高輝度領域の輪郭Ｃやサイズからただちに人間Ｐの存在を認識することは困難な場合がある。

そこで、本発明は、車両に搭載された撮像装置を通じて得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、この対象物体の存在を高精度で認識しうる車両周辺監視システム、当該車両周辺監視システムが搭載された車両、当該車両周辺監視機能を車載コンピュータに付与するプログラム、および当該車両周辺監視システムを構築するシステムを提供することを解決課題とする。

前記課題を解決するための第１発明の車両周辺監視システムは、車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視するシステムであって、前記画像における高輝度領域の輪郭を認識し、当該輪郭のうち対象物体の形状に応じた１次要件を満たす部分を１次輪郭部分として認識する第１処理部と、前記第１処理部により前記１次輪郭部分が存在すると判定されたことのみを要件として、当該１次輪郭部分の実空間における位置またはサイズを測定し、当該１次輪郭部分の実空間における位置またはサイズが前記対象物体のサイズに応じた２次要件を満たすか否かに応じて、該１次輪郭部分が当該対象物体の輪郭部分である２次輪郭部分に該当するか否かを判定する第２処理部とを備え、前記第１処理部が前記高輝度領域の輪郭が前記対象物体である人間の上肢または下肢に相当する斜め下方への突出部分を有することを前記１次要件として前記１次輪郭部分を認識し、前記第２処理部が前記１次輪郭部分の当該突出部分の実空間における鉛直位置を測定し、当該測定した鉛直位置が当該対象物体である人間の標準的な上肢または下肢の高さに応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識することを特徴とする。

第１発明の車両周辺監視システムによれば、撮像装置を通じて得られた画像において高輝度領域の輪郭が認識される。高輝度領域の存在は撮像装置の撮像範囲における物体の存在を示しているので、その輪郭には対象物体の輪郭（２次輪郭部分）が含まれている可能性がある。高輝度領域の輪郭から２次輪郭部分を抽出するため、当該輪郭のうち対象物体の形状に応じた「１次要件」を満たす部分が「１次輪郭部分」として認識される。これにより、対象物体の形状に鑑みて、高輝度領域の輪郭のうち当該対象物体の輪郭部分に該当する可能性が高い部分が認識または抽出されうる。

さらに、１次輪郭部分の実空間における位置またはサイズが対象物体のサイズに応じた「２次要件」を満たす場合、この１次輪郭部分が「２次輪郭部分」として認識される。これにより、前記画像において人間等の対象物体が背景に紛れ込んだ場合でも、２次輪郭部分が高い精度で認識または抽出され、ひいてはこの２次輪郭部分を有する対象物体の存在が高い精度で認識されうる。具体的には、対象物体としての人間の上肢部または下肢部に相当する突出部分を有する（または囲う）２次輪郭部分、ひいては当該２次輪郭部分を有する人間（対象物体）の存在が高い精度で認識されうる。特に、前記のように車両の前方等、撮像装置の撮像範囲に建造物や森林が広がって画像においてこの建造物や森林に人間等の対象物体が紛れ込むことが起こりうる環境下で車両が走行している状況ではその真価が発揮されうる。

また、第２発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が前記高輝度領域の輪郭が前記対象物体である人間の肩に相当する段差部分を有することを前記１次要件として前記１次輪郭部分を認識し、前記第２処理部が当該１次輪郭部分の当該段差部分の実空間における鉛直位置を測定し、当該測定した鉛直位置が当該対象物体である人間の肩の標準的な高さに応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識することを特徴とする。

第２発明の車両周辺監視システムによれば、対象物体としての人間の肩に相当する段差部分を有する２次輪郭部分、ひいては当該２次輪郭部分を有する人間（対象物体）の存在が高い精度で認識されうる。なお、実空間の鉛直座標軸の原点が地面と同じ高さに設定されている場合、段差部分の当該実空間における鉛直位置は、当該段差部分の地面からの高さ（サイズ）と同義である。

さらに、第３発明の車両周辺監視システムは、第１発明の車両周辺監視システムにおいて、前記第１処理部が前記高輝度領域の輪郭が前記対象物体である人間の肩に相当する段差部分を有することを前記１次要件として前記１次輪郭部分を認識し、前記第２処理部が当該１次輪郭部分の実空間における横幅を測定し、当該測定した横幅が当該対象物体である人間の標準的な肩幅に応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識することを特徴とする。

第３発明の車両周辺監視システムによれば、対象物体としての人間の肩に相当する段差部分を有する２次輪郭部分、ひいては当該２次輪郭部分を有する人間（対象物体）の存在が高い精度で認識されうる。

さらに、第４発明の車両周辺監視システムは、第１〜第３発明のうちいずれか１つの車両周辺監視システムにおいて、前記第２処理部により前記２次輪郭部分に該当すると認識された前記１次輪郭部分の時系列的な測定位置に基づき前記車両と当該２次輪郭部分を有する前記対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする。

第４発明の車両周辺監視システムによれば、前記のように撮像装置を通じて得られた画像において対象物体が背景に紛れ込んだ場合でも、２次輪郭部分が高い精度で認識（または抽出）され、この２次輪郭部分を有する対象物体の存在が高い精度で認識されうるので、車両とこの対象物体とが接触する可能性も高い精度で評価されうる。

また、第５発明の車両周辺監視システムは、第４発明の車両周辺監視システムにおいて、前記第３処理部が前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体の存在を知らせるまたは強調する情報を車載の情報出力装置に出力させる、あるいは当該車両の挙動を制御するもしくは車載機器に制御させることを特徴とする。

第５発明の車両周辺監視システムによれば、前記のように車両と対象物体との接触可能性が高い精度で評価されうるので、車両と対象物体との接触回避等の観点から、当該対象物体またはその複数の対象部分を強調等する情報が適当に出力されうる。ここで、情報の出力とは、視覚、聴覚、触覚等、五感を通じて当該情報を車両の運転者等に認識させうるあらゆる形態で情報が出力されることを意味する。これにより、車両の運転者に対象物体の存在を認識させ、車両と対象物体との接触を回避するために車両の減速や操舵等、車両の挙動を適当に制御させることができる。

また、前記のように高精度で評価された車両と対象物体との接触可能性に基づいて車載機器が制御される。これにより、車両と対象物体との接触を回避する観点から、車両の減速や操舵等、車両の挙動が適当に制御されうる。

前記課題を解決するための第６発明の車両は、前記撮像装置と、第１〜第５発明のうちいずれか１つの車両周辺監視システムとが搭載されていることを特徴とする。

第６発明の車両によれば、撮像装置を通じて得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、当該車両に搭載されている車両周辺監視システムにより２次輪郭部分が高い精度で認識され、かつ、この２次輪郭部分を有する対象物体の存在が高い精度で認識されうる。そして、たとえば当該認識結果に基づき、対象物体との接触を回避する観点から適当に車両の挙動が制御されうる。

前記課題を解決するための第７発明の車両周辺監視プログラムは、車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視する機能を当該車両に搭載されているコンピュータに付与するプログラムであって、前記画像における高輝度領域の輪郭を認識し、当該輪郭のうち対象物体の形状に応じた１次要件を満たす部分を１次輪郭部分として認識する第１処理機能と、前記第１処理機能により前記１次輪郭部分が存在すると判定されたことのみを要件として、当該１次輪郭部分の実空間における位置またはサイズを測定し、当該１次輪郭部分の実空間における位置またはサイズが前記対象物体のサイズに応じた２次要件を満たすか否かに応じて、該１次輪郭部分が当該対象物体の輪郭部分である２次輪郭部分に該当するか否かを判定する第２処理機能と、を前記コンピュータに付与し、前記第１処理機能には前記高輝度領域の輪郭が前記対象物体である人間の上肢または下肢に相当する斜め下方への突出部分を有することを前記１次要件として前記１次輪郭部分を認識する機能が含まれ、前記第２処理機能には前記１次輪郭部分の当該突出部分の実空間における鉛直位置を測定し、当該測定した鉛直位置が当該対象物体である人間の標準的な上肢または下肢の高さに応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識する機能が含まれていることを特徴とする。

第７発明の車両周辺監視プログラムによれば、撮像装置を通じて得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、２次輪郭部分を高い精度で認識または抽出し、ひいてはこの２次輪郭部分を有する対象物体の存在を高い精度で認識しうるように車両の周辺を監視する機能が車載コンピュータに付与される。

前記課題を解決するための第８発明の車両周辺監視システムの構築システムは、第１発明の車両周辺監視システムを構成するため、第７発明の車両周辺監視プログラムの一部または全部を前記車両に搭載されているコンピュータに配信または放送することを特徴とする。

本発明の構築システムによれば、撮像装置を通じて得られた画像において人間等の対象物体が背景に紛れ込んだ場合でも、２次輪郭部分を高い精度で認識または抽出し、この２次輪郭部分を有する対象物体の存在を高い精度で認識しうるように車両の周辺を監視するシステムが、車載コンピュータへの任意のタイミングでのプログラムの一部または全部の配信または放送によって構成されうる。

本発明の車両、車両周辺監視システムおよび当該車両周辺監視システムの構築システムの構成について図１を用いて説明する。

図１に示されているように車両１には、車両周辺監視システム１０と、車両１の前方部において車幅方向中央部にほぼ対称に配置された一対の赤外線カメラ（撮像装置）１０２と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたＨＵＤ１０４とが搭載されている。また、図２に示されているように車両１には、ヨーレートセンサ１２２や速度センサ１２４等の種々のセンサが搭載されている。

車両周辺監視システム１０は車載の一対の撮像装置を通じて得られた画像に基づいて車両の周辺を監視するシステムである。車両周辺監視システム１０は、車両１に搭載されたハードウェアとしてのＥＣＵまたはコンピュータ（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ等により構成されている。）と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の車両周辺監視プログラムとにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリ（ＲＯＭ等）に格納されていてもよいが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプラグラムの一部または全部がサーバ（構築システムを構成する。）２０からネットワークや衛星を介して当該車載コンピュータにダウンロードされ、そのメモリ（ＥＥＰＲＯＭ、ＲＡＭ等）に格納されてもよい。

車両周辺監視システム１０は図２に示されているように、第１処理部１１と、第２処理部１２と、第３処理部１３とを備えている。

第１処理部１１は赤外線カメラ１０２により得られた画像における高輝度領域の輪郭Ｃを認識する。また、第１処理部１１は当該輪郭Ｃのうち対象物体である人間の形状に応じた「１次要件」を満たす部分を１次輪郭部分Ｃ₁として認識する。

第２処理部１２は第１処理部１１により認識された１次輪郭部分Ｃ₁の実空間における高さ（Ｙ座標）を測定し、１次輪郭部分Ｃ₁の実空間高さが人間のサイズに応じた「２次要件」を満たすか否かに応じて、１次輪郭部分Ｃ₁が人間Ｐの輪郭部分（２次輪郭部分）Ｃ₂に該当するか否かを判定する。

第３処理部１３は第２処理部１２により２次輪郭部分Ｃ₂に該当すると認識された１次輪郭部分Ｃ₁の時系列的な測定位置に基づき、車両１と人間Ｐとの接触可能性を評価する。また、第３処理部１３は車両１と人間Ｐとの接触可能性の評価に応じて、当該人間Ｐの存在を知らせるまたは強調する画像をＨＵＤ（情報出力装置）１０４に表示させる等、車載機器の動作を制御する。

前記構成の車両１および車両周辺監視システム１０の機能について図３〜図１０を用いて説明する。

まず、第１処理部１１が「第１処理」を実行する（図３／Ｓ１１）。

第１処理部１１はメモリから２値化画像を読み出し、この２値化画像における高輝度領域の輪郭Ｃを認識する（図３／Ｓ１１１）。この２値化画像は、一対の赤外線カメラ１０２により撮像された赤外線画像がＡ／Ｄ変換されることで得られたグレースケール画像が２値化処理されることで得られたものである。たとえば図４に示されているグレースケール画像から図５に示されている２値化画像が得られた場合、図５に白抜き部分として示されている高輝度領域の輪郭Ｃが認識される。画像における高輝度領域のランレングスコードの始点または終点により構成される線分（曲がっている形状の線分も含まれる。）が、当該高輝度領域の輪郭Ｃとして認識される。

また、第１処理部１１は輪郭Ｃのうち、対象物体である人間Ｐの形状に応じた「１次要件」を満たす部分があるか否かを判定する（図３／Ｓ１１２）。たとえば、図６に示されているように正面または背面からみた人間（破線）の頭部から肩を経て腕にいたる輪郭を特徴付ける基準輪郭部分（太線で示されている。）Ｃ₀は、肩に相当する段差部分を有している。また、基準輪郭部分Ｃ₀は当該段差部分より上側にある部分の高さ（鉛直方向のサイズ）Ｈ₁が、当該段差部分より下側にある部分の高さＨ₂よりも小さいという傾向がある。そこで、基準輪郭部分Ｃ₀と同じ特徴を有すること、すなわち（１）（滑らかに変化する）段差部分があり、かつ（２）当該段差部分より上側にある部分の高さ（鉛直方向のサイズ）が、当該段差部分より下側にある部分の高さよりも小さいことが１次要件とされる。

なお、たとえば図５に示されているような４つの高輝度領域の最上位点を基準とする、ランレングスコードの始点または終点の上下方向の変化パターンに基づいて１次輪郭部分Ｃ₁の有無が認識されてもよい。また、たとえば図６に示されている基準輪郭部分Ｃ₀を含むテンプレートを用いたテンプレート・マッチングにより、当該基準輪郭部分に類似することを１次要件として１次輪郭部分Ｃ₁の有無が認識されてもよい。さらに、たとえば図７に示されているように歩行中の人間を横向きで見た際に胴体部から横に突出する上肢部または下肢部に相当する、下方に延びた突出部分を囲う基準輪郭部分Ｃ₀と同じ特徴を有することを１次要件として１次輪郭部分Ｃ₁の有無が判定されてもよい。

そして、第１処理部１１は輪郭Ｃのうち１次要件を満たす部分がある場合（図３／Ｓ１１２‥ＹＥＳ）、当該部分を１次輪郭部分Ｃ₁として認識する（図３／Ｓ１１３）。これにより、たとえば図６に示されている基準輪郭部分Ｃ₀に形状が類似する、図８に示されているような１次輪郭部分Ｃ₁が認識される。

次に、第２処理部１２が「第２処理」を実行する（図３／Ｓ１２）。

第２処理部１２は一対の赤外線カメラ１０２の視差を利用して、第１処理部１１により認識された１次輪郭部分Ｃ₁の重心（または代表点）の実空間における位置（Ｙ座標）を測定する（図３／Ｓ１２１）。この際、第２処理部１２はヨーレートセンサ１２２および速度センサ１２４のそれぞれの出力に基づき、車両１の回頭による、画像における位置ずれを補正する。回頭角補正されたエッジＥ_Pの測定位置は時系列的にメモリに保存される。ここで実空間位置とは、図１に示されているように一対の赤外線カメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。実空間位置の測定方法および回頭角補正方法はたとえば前記特許文献１において説明されているので本願明細書では詳細な説明を省略する。

さらに、第２処理部１２は、１次輪郭部分Ｅ₂の実空間位置（Ｙ座標）が、人間の標準的な肩の高さに応じた範囲（メモリに格納されている。）に含まれるという２次要件が満たされるか否かを判定する（図３／Ｓ１２２）。

そして、第２処理部１２は当該要件が満たされていると判定した場合（図３／Ｓ１２２‥ＹＥＳ）、１次輪郭部分Ｃ₁が２次輪郭部分Ｃ₂、すなわち人間（対象物体）Ｐの輪郭部分に該当すると認識する（図３／Ｓ１２３）。これにより、たとえば図８に示されている１次輪郭部分Ｃ₁が２次輪郭部分Ｃ₂として認識され、同じく図８に破線で示されているような人間Ｐの存在が認識される。

続いて、第３処理部１３が「第３処理」を実行する（図３／Ｓ１３）。

第３処理部１３は第２処理部１２により２次輪郭部分Ｃ₂に該当すると認識された１次輪郭部分Ｃ₁の時系列的な測定位置をメモリから読み取り、読み取った時系列的な測定位置に基づき車両１を基準とした人間Ｐの相対速度（大きさおよび向きを含む。）を算出する（図３／Ｓ１３１）。

また、第３処理部１３は車両１と当該人間Ｐとの接触可能性を評価する（図３／Ｓ１３２）。たとえば、図９に示されているように赤外線カメラ１０２により監視可能な三角形領域Ａ₀よりも、車両１に対する人間Ｐの相対速度ｖ_sと余裕時間Ｔとの積（ｖ_s×Ｔ）だけ低い三角形領域（警報判定領域）が定義される。また、当該三角形領域のうち、Ｚ軸を中心とするＸ方向の幅がα＋２β（α：車幅、β：余裕幅）の第１領域（接近判定領域）Ａ₁と、第１領域Ａ₁の左右の第２領域（侵入判定領域）Ａ_2LおよびＡ_2Rとが定義される。そして、人間Ｐが第１領域Ａ₁にある場合や、人間Ｐが左右の第２領域Ａ₂にあって、その相対速度ベクトルｖ_sに鑑みて第１領域Ａ₁に侵入してくることが予測される場合、この人間Ｐと車両１とが接触する可能性が高く評価される。

そして、第３処理部１３は車両１と人間（対象物体）Ｐとの接触可能性を高く評価した場合（図３／Ｓ１３３‥ＹＥＳ）、「第１制御処理」を実行する（図３／Ｓ１３４）。これにより、たとえば人間Ｐの存在を強調するため、図１０に示されているように２次輪郭部分Ｃ₂を囲む矩形状の橙色のフレームｆが「第１情報」としてＨＵＤ１０４に表示される。なお、フレームｆが２次輪郭部分Ｃ₂の全部または大部分を包含するものであれば、その形状やサイズは任意に変更されてもよい。また、第１情報として「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。

一方、第３処理部１３は車両１と人間Ｐとが接触する可能性が低いと判定した場合（図３／Ｓ１３３‥ＮＯ）、「第２制御処理」を実行する（図３／Ｓ１３５）。これにより、たとえば人間Ｐの存在を控えめに強調するため、図１０に示されているように２次輪郭部分Ｃ₂を囲む矩形状の黄色のフレームｆが「第２情報」としてＨＵＤ１０４に表示される。なお、第２情報として「ピッ」等、第１情報よりも短い（または音量が小さい）音声がスピーカ（図示略）から出力されてもよい。

前記機能を発揮する本発明の車両周辺監視システム１０によれば、赤外線カメラ（撮像装置）１０２を通じて得られた画像（２値化画像）において高輝度領域の輪郭Ｃが認識される（図３／Ｓ１１１、図５）。高輝度領域の存在は赤外線カメラ１０２の撮像範囲における物体の存在を示しているので、その輪郭Ｃには対象物体（人間）Ｐの輪郭（２次輪郭部分）Ｃ₂が含まれている可能性がある。高輝度領域の輪郭Ｃから２次輪郭部分Ｃ₂を抽出するため、当該輪郭Ｃのうち人間Ｐの形状に応じた「１次要件」を満たす部分が１次輪郭部分Ｃ₁として認識される（図３／Ｓ１１３、図８）。これにより、人間の形状に鑑みて、高輝度領域の輪郭Ｃのうち人間の輪郭部分に該当する可能性が高い１次輪郭部分Ｃ₁が認識または抽出されうる。

さらに、１次輪郭部分Ｃ₁の実空間における鉛直位置（地面からの高さ）が人間のサイズに応じた「２次要件」を満たす場合、この１次輪郭部分Ｃ₁が２次輪郭部分Ｃ₂として認識される（図３／Ｓ１２１〜Ｓ１２３、図８）。これにより、前記画像において人間Ｐが背景に紛れ込んだ場合でも、２次輪郭部分Ｃ₂が高い精度で認識または抽出され、ひいてはこの２次輪郭部分Ｃ₂を有する人間Ｐの存在が高い精度で認識されうる。特に、車両１の前方等、撮像装置の撮像範囲に建造物や森林が広がり、画像（２値化画像）においてこの建造物等に人間等の対象物体が紛れ込みやすい環境下で車両１が走行している状況ではその真価が発揮されうる。

また、前記のように人間Ｐが背景に紛れ込んだ場合でも、２次輪郭部分Ｃ₂、さらには２次輪郭部分Ｃ₂を有する人間Ｐの存在が高い精度で認識されうるので、車両１と人間Ｐとが接触する可能性も高い精度で評価されうる（図３／Ｓ１３２）。

さらに、前記のように車両１と人間Ｐとの接触可能性が高い精度で評価されうるので、車両１と人間Ｐとの接触回避等の観点から、当該人間Ｐまたはその部分を強調する第１または第２情報が適当にＨＵＤ１０４に表示（出力）されうる（図３／Ｓ１３４，Ｓ１３５、図９、図１０）。これにより、車両１の運転者に人間Ｐの存在を認識させ、車両１と人間Ｐとの接触を回避するために車両１の減速や操舵等、車両１の挙動を適当に制御させることができる。

なお、前記実施形態では人間Ｐの輪郭部分が２次輪郭部分Ｃ₂として認識されたが、他の実施形態として同様の方法に基づいて犬や猫等の動物のエッジが２次輪郭部分として認識されてもよい。

前記実施形態では１次輪郭部分Ｃ₁の実空間におけるＹ座標（鉛直位置）が人間（対象物体）の標準的な肩の高さ（サイズ）に鑑みた適当な範囲に含まれているという１次要件が満たされているか否かに応じて１次輪郭部分Ｃ₁が２次輪郭部分Ｃ₂に該当するか否かが判定されたが（図３／Ｓ１２２）、他の実施形態として１次輪郭部分Ｃ₁の実空間における横または縦の広がりが、人間（対象物体）の標準的な肩幅等（サイズ）に応じた範囲に属するという２次要件を満たしているか否かに応じて１次輪郭部分Ｃ₁が２次輪郭部分Ｃ₂に該当するか否かが判定されてもよい。

また、前記実施形態では第３処理部１３が、第１または第２制御処理としてこの対象物体の存在を強調する第１または第２情報をＨＵＤ１０４に表示させたが（図９、図１０）、他の実施形態として第３処理部１３が、第１または第２制御処理として車両１の挙動を制御するためにステアリングシステムやブレーキシステム等の車載機器を制御する、または当該車載機器に車両１の挙動を制御させてもよい。当該構成の車両周辺監視システム１０によれば、前記のように高精度で評価された車両１と人間Ｐとの接触可能性に基づいて車載機器が制御され、これにより、車両１と人間Ｐとの接触を回避する観点から、車両１の減速や操舵等、その挙動が適当に制御されうる。

本発明の車両、車両周辺監視システムおよび当該車両周辺監視システムの構築システムの構成説明図。本発明の車両周辺監視システムの構成説明図。本発明の車両周辺監視システムの機能に関する説明図。本発明の車両周辺監視システムの機能に関する説明図。本発明の車両周辺監視システムの機能に関する説明図。本発明の車両周辺監視システムの機能に関する説明図。本発明の車両周辺監視システムの機能に関する説明図。本発明の車両周辺監視システムの機能に関する説明図。本発明の車両周辺監視システムの機能に関する説明図。本発明の車両周辺監視システムの機能に関する説明図。

１‥車両、１０‥車両周辺監視システム、１１‥第１処理部、１２‥第２処理部、１３‥第３処理部、２０‥サーバ（車両周辺監視システムの構築システム）、１０２‥赤外線カメラ（撮像装置）、１０４‥ＨＵＤ（情報出力装置（車載機器））、１２２‥ヨーレートセンサ、１２４‥速度センサ。

Claims

車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視するシステムであって、
前記画像における高輝度領域の輪郭を認識し、当該輪郭のうち対象物体の形状に応じた１次要件を満たす部分を１次輪郭部分として認識する第１処理部と、
前記第１処理部により前記１次輪郭部分が存在すると判定されたことを要件として、当該１次輪郭部分の実空間における位置またはサイズを測定し、当該１次輪郭部分の実空間における位置またはサイズが前記対象物体のサイズに応じた２次要件を満たすか否かに応じて、該１次輪郭部分が当該対象物体の輪郭部分である２次輪郭部分に該当するか否かを判定する第２処理部とを備え、
前記第１処理部が前記高輝度領域の輪郭が前記対象物体である人間の上肢または下肢に相当する斜め下方への突出部分を有することを前記１次要件として前記１次輪郭部分を認識し、
前記第２処理部が前記１次輪郭部分の当該突出部分の実空間における鉛直位置を測定し、当該測定した鉛直位置が当該対象物体である人間の標準的な上肢または下肢の高さに応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識することを特徴とする車両周辺監視システム。
請求項１記載の車両周辺監視システムにおいて、
前記第１処理部が前記高輝度領域の輪郭が前記対象物体である人間の肩に相当する段差部分を有することを前記１次要件として前記１次輪郭部分を認識し、
前記第２処理部が当該１次輪郭部分の当該段差部分の実空間における鉛直位置を測定し、当該測定した鉛直位置が当該対象物体である人間の肩の標準的な高さに応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識することを特徴とする車両周辺監視システム。
請求項１記載の車両周辺監視システムにおいて、
前記第１処理部が前記高輝度領域の輪郭が前記対象物体である人間の肩に相当する段差部分を有することを前記１次要件として前記１次輪郭部分を認識し、
前記第２処理部が当該１次輪郭部分の実空間における横幅を測定し、当該測定した横幅が当該対象物体である人間の標準的な肩幅に応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識することを特徴とする車両周辺監視システム。
請求項１〜３のうちいずれか１つに記載の車両周辺監視システムにおいて、
前記第２処理部により前記２次輪郭部分に該当すると認識された前記１次輪郭部分の時系列的な測定位置に基づき前記車両と当該２次輪郭部分を有する前記対象物体との接触可能性を評価する第３処理部をさらに備えていることを特徴とする車両周辺監視システム。
請求項４記載の車両周辺監視システムにおいて、
前記第３処理部が前記車両と前記対象物体との接触可能性の評価に基づき、当該対象物体の存在を知らせるまたは強調する情報を車載の情報出力装置に出力させる、あるいは当該車両の挙動を制御するもしくは車載機器に制御させることを特徴とする車両周辺監視システム。
前記撮像装置と、請求項１〜５のうちいずれか１つに記載の車両周辺監視システムとが搭載されていることを特徴とする車両。
車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視する機能を当該車両に搭載されているコンピュータに付与するプログラムであって、
前記画像における高輝度領域の輪郭を認識し、当該輪郭のうち対象物体の形状に応じた１次要件を満たす部分を１次輪郭部分として認識する第１処理機能と、
前記第１処理機能により前記１次輪郭部分が存在すると判定されたことを要件として、当該１次輪郭部分の実空間における位置またはサイズを測定し、当該１次輪郭部分の実空間における位置またはサイズが前記対象物体のサイズに応じた２次要件を満たすか否かに応じて、該１次輪郭部分が当該対象物体の輪郭部分である２次輪郭部分に該当するか否かを判定する第２処理機能と、を前記コンピュータに付与し、
前記第１処理機能には前記高輝度領域の輪郭が前記対象物体である人間の上肢または下肢に相当する斜め下方への突出部分を有することを前記１次要件として前記１次輪郭部分を認識する機能が含まれ、
前記第２処理機能には前記１次輪郭部分の当該突出部分の実空間における鉛直位置を測定し、当該測定した鉛直位置が当該対象物体である人間の標準的な上肢または下肢の高さに応じた範囲に含まれることを前記２次要件として前記２次輪郭部分を認識する機能が含まれていることを特徴とする車両周辺監視プログラム。
請求項１記載の車両周辺監視システムを構成するため請求項７記載の車両周辺監視プログラムの一部または全部を前記車両に搭載されているコンピュータに配信または放送することを特徴とする車両周辺監視システムの構築システム。