JP2004173048A - 車載カメラシステム - Google Patents

Abstract

【課題】運転者に於ける表示装置に表示されたカメラ画像への注意を高めさせてカメラ画像の見忘れ・見落としを防止させることができる車載カメラシステムを提供する。
【解決手段】この車載カメラシステム１は、自車両に設置されたカメラ３ａ〜３ｃにより自車両周辺を撮像し、撮像した各カメラ画像を自車両に設置された表示装置５に表示するものであり、各カメラ３ａ〜３ｃのカメラ画像に障害物が映っているかの検出を行う画像認識部７ａ，７ｂ，７ｃと、画像認識部７ａ〜７ｃにより障害物の映っている事が検出された際には、各カメラ３ａ〜３ｃのカメラ画像の中から、障害物の映っているカメラ画像を選択的に表示装置５に表示する表示制御部１５とを備える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、自車両に設置されたカメラにより自車両周辺を撮像し、撮像したカメラ画像を自車両に設置された表示装置に表示する車載カメラシステムに関する。
【０００２】
【従来の技術】
近年、自車両に各種のカメラを設置し、それら各カメラにより自車両周辺を撮像し、撮像した各カメラ画像を自車両に設置した表示装置に表示する事で、運転者から直接見えない接近車両・障害物の確認や駐車時の後方確認を容易にする車載カメラシステムが提案されており、既に一部実用化されている。
【０００３】
この種の車載カメラシステムでは、各種のカメラのカメラ画像は、車速やシフトポジション等の車両情報の組合せに応じて自動的に表示装置に表示される様になっており、自車両周辺に他車両等の障害物が無い場合でも、表示装置にカメラ画像が表示される様になっている（例えば特許文献１）。
【０００４】
【特許文献１】
特開平９−８３９９９号公報
【０００５】
【発明が解決しようとする課題】
従来の車載カメラシステムでは、上述の通り、自車両周辺に障害物が無い場合でもカメラ画像が表示装置に表示されるため、運転者のカメラ画像への注意が弱まってカメラ画像の見忘れ・見落としを招く虞があるという欠点がある。
【０００６】
そこで、この発明の課題は、表示装置に表示されたカメラ画像への注意を高めさせて表示装置に表示されたカメラ画像の見忘れ・見落としを防止できる車載カメラシステムを提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するためには、請求項１に記載の発明は、自車両に設置された１つ以上のカメラにより自車両周辺の１つ以上の方向を撮像し、撮像した各カメラ画像を自車両に設置された表示装置に表示する車載カメラシステムであって、前記各カメラのカメラ画像に障害物が映っているかの検出を行う画像認識手段と、前記画像認識手段により障害物の映っている事が検出された際に、前記各カメラのカメラ画像の中から、前記障害物の映っているカメラ画像を選択的に前記表示装置に表示する表示制御手段と、を備えるものである。
【０００８】
請求項２に記載の発明は、前記表示制御手段は、前記画像認識手段により障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、前記１つ以上のカメラの中でその際に自車両から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に前記表示装置に表示するものである。
【０００９】
請求項３に記載の発明は、更に自車両の走行地点を検出する自車位置検出手段を備え、前記表示制御手段は、前記画像認識手段により障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、前記１つ以上のカメラの中でその際に前記自車両検出手段により検出される自車両の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に前記表示装置に表示するものである。
【００１０】
請求項４に記載の発明は、更に操作部を備え、前記表示制御手段は、前記表示装置に前記障害物の映っているカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から前記操作部の操作により選択されたカメラ画像だけを排他的に表示するものである。
【００１１】
請求項５に記載の発明は、前記画像認識手段は、前記障害物の映っているカメラ画像に基づいて、その障害物の自車両への接近速度及び／又は自車両までの距離を検出し、前記表示制御手段は、前記障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体を強調すると共に前記画像認識手段により検出されたその障害物の自車両への接近速度及び／又は自車両までの距離に応じて前記強調の程度を変える様に画像処理を施して前記表示装置に表示するものである。
【００１２】
【発明の実施の形態】
図１は本発明の実施の形態に係る車載カメラシステムの構成概略図、図２は図１の車載カメラシステムの各カメラの撮像方向の一例を示す図である。
【００１３】
この実施の形態に係る車載カメラシステム１は、自車両に設置された１つ以上（ここでは３つ）のカメラにより自車両周辺の１つ以上（ここでは３つ）の方向を撮像し、撮像した各カメラ画像を自車両に設置された表示装置に表示するものであり、図１及び図２に示す如く、上記３つのカメラ３ａ，３ｂ，３ｃと、上記表示装置５と、それぞれ各カメラ３ａ，３ｂ，３ｃのカメラ画像に障害物が映っているかの検出を行う画像検出部（画像認識手段）７ａ，７ｂ，７ｃと、表示装置５の表示画像を手動切換する為の操作部９と、自車両１１の走行地点を検出する自車位置検出装置（ここではナビゲーション装置：自車位置検出手段）１３と、各要素７ａ〜７ｂ，９，１３等の検出結果及び操作内容に応じて各カメラ３ａ，３ｂ，３ｃのカメラ画像を選択的に表示装置５に表示する表示制御部（表示制御手段）１５とを備える。
【００１４】
ここでは、上記カメラ３ａ〜３ｃとして、例えば、右側方カメラ３ａ、左側方カメラ３ｂ及び後方カメラ３ｃが設置される。右側方カメラ３ａ（左側方カメラ３ｂ）は、自車両１１の前部右側（左側）に設置されて自車両１１の右側方範囲Ｓａ（左側方範囲Ｓｂ）を撮像する。後方カメラ３ｃは、自車両１１の後部に設置されて自車両１１の後方範囲Ｓｃを撮像する。各カメラ３ａ，３ｂ，３ｃは、車載カメラシステム１の作動中は常時その撮像方向の範囲Ｓａ，Ｓｂ，Ｓｃを撮像する。
【００１５】
画像認識部７ａ（７ｂ，７ｃ）は、カメラ３ａ（３ｂ，３ｃ）のカメラ画像に対して画像認識を行って常時そのカメラ３ａ（３ｂ，３ｃ）のカメラ画像に障害物が映っているかの検出を行うと共に、障害物が映っている事を検出した際には、その障害物の映っているカメラ画像に基づいて、その障害物の自車両への接近速度及び／又は自車両までの距離の検出を行う。
【００１６】
詳細には例えば、画像認識部７ａ（７ｂ，７ｃ）は、フレーム間差分を求めることでカメラ３ａ（３ｂ，３ｃ）のカメラ画像中の各画素の速度ベクトルを求めて、これら速度ベクトルに基づいて移動体（即ち障害物）の検出を行う所謂オプティカルフロー（Ｏｐｔｉｃａｌ ｆｌｏｗ）の画像認識技術を用いる。即ち、カメラ画像中に於ける自車両の車速と異なる速度の速度ベクトルであって互いに同じ速度ベクトルを有する一塊りの画像領域を１つの障害物と見なし、カメラ画像中にその様な画像領域が有るかに応じて障害物が映っているかの検出を行い、障害物が映っている事を検出した際は更に、当該画像領域の速度ベクトルに基づき障害物の自車両への接近速度を検出すると共に、当該画像領域の大きさを所定の基準値と比較することで障害物の自車両までの距離を検出する。
【００１７】
表示制御部１５は、画像認識部７ａ〜７ｃにより障害物の映っている事が検出された際には、各カメラ３ａ〜３ｃのカメラ画像の中から、障害物の映っているカメラ画像を選択的に表示装置５に表示する。より詳細には例えば、表示制御部１５は、画像認識部７ａ〜７ｃにより障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、上記３つのカメラ３ａ〜３ｃの中でその際に自車両１１から得られる車両情報（車速、シフトポジション等）の組み合わせに応じて予め表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に表示装置５に表示する。尚、表示装置５に障害物の映っているカメラ画像を複数表示する場合は、例えばマルチウインド表示する。又、全てのカメラ３ａ〜３ｃのカメラ画像に障害物が映っている事が検出されない場合、又は、検出されても表示候補に該当せず表示されない場合は、全てのカメラ３ａ〜３ｃのカメラ画像をマルチウインドウ表示する様にしてもよく、又は全てのカメラ３ａ〜３ｃのカメラ画像を非表示にする様にしてもよく、又はナビゲーション画像やテレビ画像等のカメラ画像以外の画像を表示装置５に表示する様にしてもよい。
【００１８】
ここでは例えば、車両情報の組合せが、▲１▼シフトポジションがドライブで且つ車速が低速以下の場合には、左側方カメラ３ｂのカメラ画像及び右側方カメラ３ａのカメラ画像が表示候補として指定されており、▲２▼シフトポジションがバックの場合には、後方カメラ３ｃのカメラ画像が表示候補として指定されており、上記▲１▼▲２▼以外の車両情報の組合せの場合には、表示候補となるカメラは指定されていない（即ちカメラ画像は全く表示されない）。
【００１９】
この表示候補の指定の下で例えば、左側方カメラ３ｂのカメラ画像に障害物が映っている事が検出された際に於いて、その際の車両情報の組合せが上記▲１▼の組合せであれば、その障害物の映っている左側方カメラ３ｂのカメラ画像は、その際の車両情報の組合せに於いて表示候補として指定されているカメラ３ａ，３ｂのカメラ画像に該当するので表示装置５に表示されるが、その際の車両情報の組合せが上記▲１▼以外の組合せであれば、その際の車両情報の組合せに於いて表示候補として指定されているカメラのカメラ画像に該当しないので表示装置５に表示されない。
【００２０】
又、表示制御部１５は、障害物の映っているカメラ画像を表示装置５に表示する際には、その障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体を強調すると共に画像認識部７ａ〜７ｃにより検出されたその障害物の自車両１１への接近速度及び／又は自車両１１までの距離に応じて上記強調の程度を変える様に（即ち自車両１１への接近速度が速い程、又、自車両１１までの距離が近い程、上記強調の程度を強くする様に）画像処理を施して表示装置５に表示する。
【００２１】
上記の強調の仕方としては例えば、障害物の映っている部分の周縁又はカメラ画像全体の周縁に枠画像を重畳して強調し、その枠画像の色を変えることで、その強調の程度を変える。又は、障害物の映っている部分の輝度を他の部分の輝度より高くして強調し、その輝度を高くする程度を変えることで、その強調の程度を変える。又は、障害物の映っている部分又はカメラ画像全体を点滅表示させて強調し、その点滅速度を変えることで、その強調の程度を変える。
【００２２】
又、表示制御部１５は、表示装置５に障害物の映っているカメラ画像であって或る車両情報の組合せに於ける表示候補に該当したカメラ画像を２つ以上表示した場合に於いて、操作部９の操作によりそれら２つ以上のカメラ画像の中から一のカメラ画像が選択された際には、選択されなかった他のカメラ画像を非表示にして、選択されたカメラ画像だけを例えば全画面表示で表示する。そして、表示制御部１５は、操作部９の操作によりそれら２つ以上のカメラ画像の中から一のカメラ画像が選択される事に応じて自動的に、その選択がなされた際にナビゲーション装置１３により検出された自車両１１の走行地点に於ける上記或る車両情報の組合せに於いて表示候補として指定されているカメラのカメラ画像を、その選択されたカメラ画像を撮像するカメラのカメラ画像に変更する。これにより、表示候補となるカメラのカメラ画像が自車両１１の走行地点に応じても指定される様になる。
【００２３】
具体的には例えば、上記▲１▼の車両情報の組合せ（シフトポジションがドライブで且つ車速が低速以下）の下で、例えば左側方カメラ３ｂ及び右側方カメラ３ａの双方のカメラ画像に障害物が映っている事が検出されて、それらのカメラ画像が表示装置５に表示された際に於いて、操作部９の操作により左側方カメラ３ｂのカメラ画像が選択された際には、右側方カメラ３ａのカメラ画像が非表示にされて左側方カメラ３ｂのカメラ画像だけの表示にされると共に、その左側方カメラ３ｂのカメラ画像が選択された際にナビゲーション装置１３により検出された自車両１１の走行地点Ａに於ける上記▲１▼の車両情報の組合せに於いて表示候補として指定されているカメラ３ａ，３ｂのカメラ画像を、その選択されたカメラ画像を撮像する左側方カメラ３ｂのカメラ画像に変更する。これにより、以降は、自車両１１が上記▲１▼の車両情報の組合せで走行地点Ａを通過する際に於いて、例えば左側方カメラ３ｂ及び右側方カメラ３ａの双方のカメラ画像に障害物が映っている事を検出した際には、表示装置５には左側方カメラ３ｂのカメラ画像だけが表示される様になる。
【００２４】
以上のように構成された車載カメラシステム１によれば、各カメラ３ａ〜３ｃのカメラ画像に障害物が映っているかの検出が行われ、障害物の映っている事が検出された際には、各カメラ３ａ〜３ｃのカメラ画像の中から、その障害物の映っているカメラ画像が選択的に表示装置５に表示されるため、障害物の映っている事が検出された際にはその障害物の映っているカメラ画像だけが表示される様になり、これにより表示装置５に表示されたカメラ画像への注意を高めることができて、表示装置５に表示されたカメラ画像の見忘れ・見落としを防止できる。
【００２５】
又、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像がカメラ３ａ〜３ｃの中でその際に自車両１１から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置５に表示されるため、各車両情報の組み合わせに応じて適切なカメラ画像だけを表示装置５に表示できる。
【００２６】
又、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像がカメラ３ａ〜３ｃの中でその際の自車両１１の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置５に表示されるため、自車両１１の走行地点に応じて適切なカメラ画像だけを表示装置５に表示できる。
【００２７】
又、表示装置５に障害物の映っているカメラ画像であって或る車両情報の組合せに於ける表示候補に該当されたカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から操作部９の操作により選択されたカメラ画像だけが排他的に表示されるため、複数のカメラ画像が表示された場合に所望のカメラ画像だけの表示にでき、所望のカメラ画像に集中できる様にできる。
【００２８】
そして、操作部９の操作により表示装置５に表示されたそれら複数のカメラ画像の中から一のカメラ画像が選択される事に応じて自動的に、その選択がされた際の自車両１１の走行地点に於ける上記或る車両情報の組合せに於いて表示候補として指定されているカメラのカメラ画像が、その選択されたカメラ画像を撮像するカメラのカメラ画像に変更されるため、次からは走行地点に応じて自動的に所望のカメラ画像が選択されて表示される様にできる。
【００２９】
又、障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体が強調されると共にその障害物の自車両１１への接近速度及び／又は自車両１１までの距離に応じて上記強調の程度が変わる様に画像処理が施されて表示装置５に表示されるため、上記強調により運転者に障害物の接近状況を瞬時に把握させる事ができ、特に、障害物の映っている部分が強調された場合は、運転者に瞬時にカメラ画像の中のどこに障害物が映っているかを把握させる事ができる。
【００３０】
【発明の効果】
請求項１に記載の発明によれば、各カメラのカメラ画像に障害物が映っているかの検出が行われ、障害物の映っている事が検出された際には、各カメラのカメラ画像の中から、その障害物の映っているカメラ画像が選択的に表示装置に表示されるため、障害物の映っている事が検出された際にはその障害物の映っているカメラ画像だけが表示される様になり、これにより表示装置に表示されたカメラ画像への注意を高めることができて、表示装置に表示されたカメラ画像の見忘れ・見落としを防止できる。
【００３１】
請求項２に記載の発明によれば、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が前記１つ以上のカメラの中でその際に自車両から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置に表示されるため、各車両情報の組み合わせに応じて適切なカメラ画像だけを表示装置に表示できる。
【００３２】
請求項３に記載の発明によれば、障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が前記１つ以上のカメラの中でその際の自車両の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像が選択的に表示装置に表示されるため、自車両の走行地点に応じて適切なカメラ画像だけを表示装置に表示できる。
【００３３】
請求項４に記載の発明によれば、表示装置に障害物の映っているカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から操作部の操作により選択されたカメラ画像だけが排他的に表示されるため、複数のカメラ画像が表示された場合に所望のカメラ画像だけの表示にでき、所望のカメラ画像に集中できる様にできる。
【００３４】
請求項５に記載の発明によれば、障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体が強調されると共にその障害物の自車両への接近速度及び／又は自車両までの距離に応じて前記強調の程度が変わる様に画像処理が施されて表示装置に表示されるため、その強調により運転者に障害物の接近状況を瞬時に把握させる事ができ、特に、障害物の映っている部分が強調された場合は、運転者に瞬時にカメラ画像の中のどこに障害物が映っているかを把握させる事ができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る車載カメラシステムの構成概略図である。
【図２】図１の車載カメラシステムの各カメラの撮像方向を説明する図である。
【符号の説明】
１ 車載カメラシステム
３ａ，３ｂ，３ｃ カメラ
５ 表示装置
７ａ，７ｂ，７ｃ 画像認識部
９ 操作部
１１ 自車両
１３ ナビゲーション装置
１５ 表示制御部

Claims (5)

1. 自車両に設置された１つ以上のカメラにより自車両周辺の１つ以上の方向を撮像し、撮像した各カメラ画像を自車両に設置された表示装置に表示する車載カメラシステムであって、
   前記各カメラのカメラ画像に障害物が映っているかの検出を行う画像認識手段と、
   前記画像認識手段により障害物の映っている事が検出された際に、前記各カメラのカメラ画像の中から、前記障害物の映っているカメラ画像を選択的に前記表示装置に表示する表示制御手段と、
   を備えることを特徴とする車載カメラシステム。
2. 前記表示制御手段は、前記画像認識手段により障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、前記１つ以上のカメラの中でその際に自車両から得られる車両情報の組み合わせに応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に前記表示装置に表示することを特徴とする請求項１に記載の車載カメラシステム。
3. 更に自車両の走行地点を検出する自車位置検出手段を備え、
   前記表示制御手段は、前記画像認識手段により障害物の映っている事が検出された際には、その障害物の映っているカメラ画像が、前記１つ以上のカメラの中でその際に前記自車両検出手段により検出される自車両の走行地点に応じて表示候補として指定されているカメラのカメラ画像に該当する場合に限り、その障害物の映っているカメラ画像を選択的に前記表示装置に表示することを特徴とする請求項１又は請求項２に記載の車載カメラシステム。
4. 更に操作部を備え、
   前記表示制御手段は、前記表示装置に前記障害物の映っているカメラ画像が複数表示された場合に、それら複数のカメラ画像の中から前記操作部の操作により選択されたカメラ画像だけを排他的に表示することを特徴とする請求項１乃至請求項３の何れかに記載の車載カメラシステム。
5. 前記画像認識手段は、前記障害物の映っているカメラ画像に基づいて、その障害物の自車両への接近速度及び／又は自車両までの距離を検出し、
   前記表示制御手段は、前記障害物の映っているカメラ画像に対して、その障害物の映っている部分又はそのカメラ画像全体を強調すると共に前記画像認識手段により検出されたその障害物の自車両への接近速度及び／又は自車両までの距離に応じて前記強調の程度を変える様に画像処理を施して前記表示装置に表示することを特徴とする請求項１乃至請求項４の何れかに記載の車載カメラシステム。

Images