JP2014116756A - 周辺監視システム - Google Patents

Abstract

【課題】カメラが撮影した画像において、実景とボデーとを判別可能な周辺監視システムを提供する。
【解決手段】自車両の車体と車両周辺とを撮影範囲に含む撮影手段２３と、前記撮影手段が撮影した画像データにおける、前記車体と前記車両周辺の境界を示す境界情報が記憶された境界情報記憶手段３７と、前記境界情報に基づき、前記画像データに前記境界を明瞭化する処理を施す画像処理手段３６と、前記画像処理手段が前記境界を明瞭化する処理を施した前記画像データを表示する表示手段２１と、を有することを特徴とする周辺監視システムを提供する。
【選択図】図７

Description

本発明は、車両の周辺を撮影して表示する周辺監視システムに関する。

車両の後方から後側方の状況を確認するため車外に取り付けられるミラーとしてドアミラーが主流になっている。このドアミラーを代替するミラーとして、カメラを左右のフェンダーに取り付け映像を車室内のディスプレイに表示する周辺監視システム（以下、カメラが撮影した画像をディスプレイに映像を表示することを電子ミラーという）が検討されている。電子ミラーはドアミラーよりも前方に取り付けられるので、ドアミラーよりも広い画角を撮影して表示することが可能である。このため、運転者が後方確認しやすくなるという利点がある。

図１は車両における電子ミラー用のカメラの搭載位置の一例を示す図である。図１（ａ）は側面図を図１（ｂ）は正面図をそれぞれ示している。側面視、左前輪のフェンダーの右上（約２時の方向）に、光軸を後方に向けて電子ミラー用のカメラが搭載されている。右側の前輪にも同じ位置に電子ミラー用のカメラが取り付けられる。

特開２００９−０１２６５２号公報

しかしながら、電子ミラーの場合、カメラの搭載位置によっては実景がボデーに映り込んでしまい、実景とボデーに映り込んだ反射像の判別が困難になるという問題がある。

図２は電子ミラー用のカメラが撮影した画像の一例であるが、実景とボデーに映り込んだ反射像がほぼ線対称になり両者の境界が分かりにくい。ドアミラーの場合も、実景がボデーに映り込むことはあるが、ドアミラーはボデーよりも高い位置に配置され、ボデーを斜め上から撮影する配置となるため線対称な反射像がボデーに映ることは少ない。これに対し、電子ミラーのカメラの光軸はボデー及び路面と平行に近いため、図２のように実景とボデーに映り込んだ反射像がほぼ線対称になってしまう。この現象は、電子ミラー用のカメラの撮影範囲を広くするため、電子ミラーのカメラの搭載位置を車両前方に移動し、サイドミラーの位置より下方に移動するほど目立つようになる。

また、カメラのゲインコントロール機能などによって、画面内の輝度の均一化が図られると、実景と反射像の輝度差が小さくなり、さらに判別が難しくなる。

電子ミラーのカメラの向きをボデーが入らないように設置すればこのような不都合は生じない。しかし、運転者としてはボデーの一部を写すことで自車両に対し他車両などがどのくらい離れているかを判断するため、ボデーが入らないように設置することは困難である。

運転者が容易に実景とボデーに映り込んだ反射像を判別できるようにするには、画像を補整すればよい。画像における車体部の像を補正する技術は従来から散見される（例えば、特許文献１参照。）。特許文献１には、歪みのあるレンズで撮影された画像をＸ軸からの距離に依存して非線形に増加する拡大率で拡大処理することで、車体の縁部とこの車体の縁部とを平行な直線とする周辺監視装置が開示されている。

しかしながら、特許文献１に開示された技術では車体に映り込んだ反射像について考慮されておらず、実景とボデーに映り込んだ反射像を容易に判別することができないという問題は解決されない。

本発明は、上記課題に鑑み、カメラが撮影した画像において、実景とボデーとを判別可能な周辺監視システムを提供することを目的とする。

本発明は、自車両の車体と車両周辺とを撮影範囲に含む撮影手段と、前記撮影手段が撮影した画像データにおける、前記車体と前記車両周辺との境界を示す境界情報が記憶された境界情報記憶手段と、前記境界情報に基づき、前記画像データに前記境界を明瞭化する処理を施す画像処理手段と、前記画像処理手段が前記境界を明瞭化する処理を施した前記画像データを表示する表示手段と、を有することを特徴とする周辺監視システムを提供する。

カメラが撮影した画像において、実景とボデーとを判別可能な周辺監視システムを提供することができる。

車両における電子ミラー用のカメラの搭載位置の一例を示す図である。 電子ミラー用のカメラが撮影した画像の一例を示す図である。 本実施形態における周辺監視システムの概略的な特徴を説明する図の一例である。 車両の側面図等の一例を示す。 サイドカメラ、フェンダーカメラの撮影範囲を示す図の一例である。 電子ミラー用カメラが撮影した画像が表示されるディスプレイについて説明する図の一例である。 周辺監視システムの概略構成図、カメラコンピュータの機能ブロック図の一例を示す図である。 境界の検出手順を示すフローチャート図の一例である。 境界の検出を模式的に説明する図の一例である。 境界情報の一例を示す図である。 境界の明瞭化を模式的に説明する図の一例である。 電子ミラー用カメラと後方カメラの撮影範囲を模式的に示す図の一例である。 周辺監視システムの動作手順の一例を示すフローチャート図である。

以下、本発明を実施するための形態について図面を参照しながら説明する。しかしながら、本発明の技術的範囲が、本実施の形態に限定されるものではない。

図３は、本実施形態における周辺監視システムの概略的な特徴を説明する図の一例である。
（１）図３（ａ）は電子ミラー用カメラが撮影した補正前の画像を示す図である。このような画像に対し周辺監視システムは、ボデーと実景の境界が明瞭となる環境で、ボデーと実景の境界（または境界線）を検出する。この境界は環境光の明るさや色温度を調整することで明確になることが分かっている。境界情報は車両の不揮発メモリに記憶される。
（２）周辺監視システムは、境界線からボデー側の画像に境界を明瞭にする画像処理を施す。この画像処理は、運転者や乗員（以下、単に運転者という）が少なくともボデーの外縁を容易に把握できるようにする処理である。例えば、ボデー側の画素の輝度値を下げる（暗くする）、又は、ボデー側の画素の画素値を予め知られているボデーと同じ色で塗りつぶす、などの画像処理が好適である。図３（ｂ）はボデー側の画素の輝度値を下げる処理が行われた画像の一例を示している。図３（ｂ）に示すように、ボデーへの実景の映り込みが低減され運転者はボデーの外縁を容易に把握できるようになる。

したがって、本実施形態の周辺監視システムによれば、電子ミラーにより広い画角の画像を表示すると共に、運転者が実景とボデーとを容易に判別することができる。

〔取り付け位置の例〕
図４（ａ）は、車両の側面図の一例を示す。電子ミラー用カメラは車両前方のフェンダー部１１に取り付けられることが好ましい。車両によってはフェンダーパネルが独立した部品であるが、多くの車両ではボデーと一体化された車輪周囲のパネルを言う。本実施形態では特に区別することなくフェンダー部１１と称する。

電子ミラー用カメラはフェンダー部１１の上部１１ａ、後方１１ｂ、または、前方１１ｃに固定される。同一画角のカメラでは車両の前方に装着されるほど、車両の周囲の撮影範囲が広くなるため好ましい。また、電子ミラー用カメラが取り付けられる高さは、撮影範囲、車両の意匠やデザイン、防塵性・防水性、レンズの汚れやすさなどを考慮して決定することができる。原理的には、フェンダー部１１の最下部から最上部の範囲で取り付けることが可能である。ボデーと一体のフェンダー部１１に取り付けられる際、電子ミラー用カメラはブラケットを介して車体に固定される。

また、図４（ｂ）に示すように、オーバーフェンダー１２が装着された車両では、オーバーフェンダー１２に電子ミラー用カメラを埋め込むことができる。また、上記のブラケットをオーバーフェンダー１２の形状に作成すれば、車両との一体感が得られ意匠上好ましい場合がある。

図４（ｃ）は電子ミラー用カメラの撮影範囲を示す図の一例である。前輪の左右にほぼ対称に電子ミラー用カメラ２３が取り付けられる。必ずしも左右に取り付ける必要はなく、運転席から遠い側にだけ取り付けることも可能である。ドアミラーよりも前方に取り付けられるので、車両の周囲の撮影範囲が広くなり運転者が後方確認しやすくなる。

本実施形態では、図４（ａ）のようにフェンダー部１１に電子ミラー用カメラ２３が装着された場合を例に説明するが、後述する画像処理はサイドミラー１３やフェンダーミラー１４に装着されたカメラ（以下、サイドカメラ、フェンダーカメラという）が撮影する画像にも有効である。

図５（ａ）はサイドカメラの撮影範囲を示す図の一例を、図５（ｂ）はフェンダーカメラの撮影範囲を示す図の一例をそれぞれ示す。サイドカメラ及びフェンダーカメラが撮影する画像にはボデーと実景が含まれる。サイドカメラ及びフェンダーカメラは、光軸が路面と平行とはなりにくいので上述した課題は生じにくいが、画像に境界を明瞭化する画像処理を施すことで、運転者はボデーの外縁をさらに容易に判別できるようになる。

〔ディスプレイの配置〕
図６は、電子ミラー用カメラ２３が撮影した画像が表示されるディスプレイについて説明する図の一例である。ディスプレイ２１は、例えばフラットパネルディスプレイ（液晶、有機ＥＬ、プラズマなど）である。ディスプレイ２１は運転者の視界を遮らない場所に配置される。また、運転席に着座した運転者の視線移動が少ない場所に配置されることが好ましい。このような例としてはナビゲーション装置が道路地図を表示するセンタークラスターやダッシュボードに配置されたディスプレイがある。センタークラスターのディスプレイ２１は車両に固定されていることが一般的であるが、ダッシュボードのディスプレイは固定されている場合と可搬型の場合がある。本実施形態ではどちらのディスプレイに対しても電子ミラー用カメラ２３が撮影した画像を表示可能である。また、可搬型のディスプレイの場合は、可搬型ナビゲーション装置と一体になったディスプレイだけでなく、スマートフォンやＰＤＡのような情報処理装置のディスプレイが含まれる。車両と情報処理装置は無線で通信し画像データを送信すればよい。

ナビゲーション用のディスプレイ２１は１台しか搭載されていないことが多いので、車両の左右に電子ミラー用カメラが配置されている場合は画面を分割してそれぞれの画像を表示する。左側にのみ電子ミラー用カメラが配置されている場合は、ディスプレイ２１の全面又は一部に画像を表示すればよい。このディスプレイ２１は道路地図、テレビ画面、再生映像、メニュー表示画面などと共用されるので、運転者の操作により任意の画面を表示できるようになっている。

また、電子ミラー用カメラ２３がサイドミラー１３の代わりに（又はサイドミラー１３と共に）車両後側方の映像を提供することを考慮すると、サイドミラー１３の近くにディスプレイ２１を配置することが好ましい。運転者はサイドミラー１３に視線を移動する場合と同じ方向に視線移動することで電子ミラー用カメラ２３が撮影した画像を目視できる。図では前方ピラー（Ａピラー）にディスプレイ２１が取り付けられている。また、前方ピラーでなく前方ピラー寄りのダッシュボード上にディスプレイを配置することで視線移動を少なくすることができる。このディスプレイは、運転者の嗜好に応じて収納又は脱着可能としてもよく、運転者はサイドミラー１３と電子ミラー用カメラ２３のうち所望の画像で後側方の状況を確認できる。

また、サイドミラー１３にディスプレイ２１を埋設してもよい。すなわち、サイドミラー１３がディスプレイ２１そのものとなる。運転者はサイドミラー１３に視線を移動する場合と同じ視線移動で電子ミラー用カメラ２３が撮影した画像を見ることができる。また、この画像はサイドミラー１３に映る画像よりも広い範囲が撮影されたものなので、運転者はサイドミラー１３を見る場合と同じ視線移動でより広い範囲の画像を見ることができる。

また、表示装置としてフラットパネルディスプレイでなく（又はフラットパネルディスプレイと共に）投影型のディスプレイ（例えば、ＨＵＤ（Head Up Display）、プロジェクタ）を用い、電子ミラー用カメラ２３が撮影した画像を表示してもよい。ＨＵＤを表示装置とする場合、ウィンドシールドガラスの前方ピラー付近や、フロントドアガラスの前方ピラー付近に画像を表示する。これにより、ディスプレイ２１により車内空間を占有することなく、運転者はサイドミラー１３に視線を移動する場合と同じ方向に少ない視線移動で、電子ミラー用カメラ２３が撮影した画像を見ることができる。

〔機能構成例〕
図７（ａ）は周辺監視システム１００の概略構成図の一例を、図７（ｂ）はカメラコンピュータ２２の機能ブロック図の一例をそれぞれ示す。周辺監視システム１００は電子ミラー用カメラ２３、カメラコンピュータ２２、及び、ディスプレイ２１を有しており、カメラコンピュータ２２により制御される。カメラコンピュータ２２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発メモリ、及び、各種のＩ／Ｏを有する情報処理装置である。カメラコンピュータ２２は電子ミラー用カメラ２３と一体に構成されていてもよく、カメラコンピュータ２２とディスプレイ２１とが一体に構成されていてもよく、カメラコンピュータ２２と電子ミラー用カメラ２３とディスプレイ２１が一体に構成されていてもよい。

電子ミラー用カメラ２３はＣＣＤやＣＭＯＳなどの所定の画素数の撮像素子、光学系のレンズ、絞り、画像処理部等を備えている。輝度情報のみを撮影可能な白黒カメラ、又は、カラーフィルターを備えたカラーカメラのいずれでもよい。

電子ミラー用カメラ２３とカメラコンピュータ２２は、制御線２４と例えばＮＴＳＣ（National Television System Committee）などの映像送信線２５で接続されている。制御線２４は例えば車両用のオーディオビジュアル機器を制御するためのＬＡＮ、ＣＡＮ（Controller Area Network）、イーサネット（登録商標）又は専用線等である。また映像信号のＮＴＳＣは一例であり、ＰＡＬ（Phase Alternating Line）やＳＥＣＡＭ（順次式カラーメモリ）など他のアナログ信号、ＧＶＩＦ（Gigabit Video Interface）、ＨＤＭＩやＤＶＩなどのデジタル信号で送信してもよい。また、デジタル信号で送信する場合はＭＰＥＧ２やＨ.２６４などの圧縮アルゴリズムで圧縮してもよい。カメラコンピュータ２２とディスプレイ２１も制御線２４と映像送信線２５で接続されている。接続方法は、ディスプレイ２１の仕様に適したものであればよく、カメラコンピュータ２２と電子ミラー用カメラ２３の接続方法と同様でも異なっていてもよい。

また、図では電子ミラー用カメラ２３、カメラコンピュータ２２、及び、ディスプレイ２１間が有線で接続されているが、無線で接続することも可能である。例えば、IEEE802.11a/bg/n/acやBluetooth（登録商標）などで接続する。

ディスプレイ２１は操作部２６を有しており、運転者やメーカ開発者、サービスマン等の操作を受け付ける。操作部２６は、ディスプレイ２１の周囲に配置されたハードキー、ディスプレイ２１と一体のタッチパネル、タッチパネルに表示されるソフトキー等である。また、ステアリングスイッチを押下された際の発話内容を解析し音声により操作を受け付けてもよい。また、カメラで運転者の手の動きなどを撮影すると共に解析し手の動きに応じた操作を受け付けてもよい。

本実施形態では、操作部２６は周辺監視システム１００の起動・停止、境界の検出の指示操作、どのように境界を明瞭化するかなどを受け付ける。ディスプレイ２１にこれら操作可能なメニューが表示される場合、運転者やサービスマン等はガイド用のメッセージに従って、ソフトキーを操作すればよい。ハードキーであれば、起動・停止のボタン操作で起動し、同じハードキーの長押しなどを境界の検出の指示操作とする。

図７（ｂ）に示すようにカメラコンピュータ２２は映像変換部３１、ＶＲＡＭ３３、映像処理部３６、通信処理部３２、映像解析部３４、制御部３５、及び、不揮発メモリ３７を有している。これらの機能はハードウェア、及び、ＣＰＵがＲＯＭに記憶されたプログラムを実行してハードウェアと協働することで実現されている。

映像変換部３１は電子ミラー用カメラ２３から送信された映像信号を変換する。必要であれば変換の前にアナログ信号からデジタル信号へ変換しておく。このデジタル信号を映像処理に適したフォーマットに変換する。例えば解像度を変換したり、階調を変更することでフォーマットを変換する。なお、電子ミラー用カメラ２３が送信する映像信号によってはアナログ／デジタル変換やフォーマット変換が不要な場合がある。

この他、インタレースで送信される映像信号では、偶数フィールドと奇数フィールドを合成するか又は奇数フィールド内・偶数フィールド内でそれぞれ画素値を補うなどしてプログレッシブな画像データを作成する。また、アスペクト比（例えば４：３）をディスプレイ２１に適したアスペクト比（例えば１６：９）に変換する。また、電子ミラー用カメラ２３のサイズ（縦横の画素数）をディスプレイ２１のサイズに適したもの変換する。

ＶＲＡＭ３３(Video RAM)は電子ミラー用カメラ２３が送信した映像の１フレームごとの画像データ又は映像変換部３１が映像から変換した１フレームごとの画像データを記憶する高速なメモリである。ＶＲＡＭ３３は専用のメモリとしてカメラコンピュータ２２内に設けてもよいし、プログラムが作業メモリとするＲＡＭを使用してもよい。

映像解析部３４は、画像データからボデーと実景の境界を検出し、境界情報を不揮発メモリ３７に書き込む。不揮発メモリ３７はＥＥＰＲＯＭやフラッシュメモリなどである。境界の検出は出荷時、又は、電子ミラー用カメラ２３そのもの若しくは電子ミラー用カメラ２３の取り付け位置等が変わった時に一度、行えばよい。電子ミラー用カメラ２３は車両に固定されており、走行中には大きな変動はしないためである。一方、映像解析部３４は車載されているため、運転者などの明示的な操作により境界を検出することができる。境界の検出は、境界が明瞭になる環境であれば行うことができる。明瞭になる環境は主に明るさにより定まるため、明るさが管理可能な空間（メーカーの工場、ディーラーのサービス工場など）で行う。どのような明るさが好ましいかは、ボデー色及び床面（車両が置かれている場所の地面）や路面の色などによって変わりうるため、メーカ開発者やサービスマン等は照明の明るさを可変に制御して境界の検出を開始する。

不揮発メモリ３７にはこの境界情報だけでなく、電子ミラー用カメラ２３の仕様（焦点距離、画角、Ｆ値など）、及び、電子ミラー用カメラ２３の取り付け位置（高さや光軸の方向）などが記憶される。

映像処理部３６は不揮発メモリ３７に記憶された境界情報を使用して、ＶＲＡＭ３３の画像データに境界を明瞭にする画像処理を施す。例えば、境界よりもボデー側の全ての画素の輝度を一定量下げたり、境界よりもボデー側の全ての画素に固定値を書き込む。こうすることでボデー側に映り込んだ実景が目立たなくなる。

制御部３５は全体の機能の処理タイミングを指示するなどしてカメラコンピュータ２２の全体を制御する。例えば、操作部２６が境界を検出するという操作を受け付けた場合、境界明瞭化モードから境界検出モードとなり、ＶＲＡＭ３３に画像データが記憶されたタイミングで映像解析部３４に境界の検出を指示する。また、周辺監視システム１００の起動直後など境界明瞭化モードでは、ＶＲＡＭ３３に画像データが記憶されたタイミングで映像処理部３６に境界を明瞭にする画像処理を指示する。また、電子ミラー用カメラ２３を制御する場合、制御部３５は通信処理部３２に制御信号を送信させる。

通信処理部３２は制御線２４の通信プロトコルに従って制御信号を電子ミラー用カメラ２３に送信する。本実施形態では主にゲインコントロールのＯＮ／ＯＦＦを制御信号として送信する。この他、一般的なカメラで制御可能なシャッター速度や絞りを制御することも可能である。なお、ゲインコントロールとは、撮像素子が出力する画像信号を増幅する処理であり、デジタルカメラの場合、撮影感度（ＩＳＯ）により増幅率を指定できる。

〔境界の検出手順〕
図８は、境界の検出手順を示すフローチャート図の一例を、図９は境界の検出を模式的に説明する図の一例をそれぞれ示す。図８の処理は、周辺監視システム１００が起動している状態で、操作部２６が境界の検出の指示を受け付けるとスタートする。なお、車両は停止しているものとする。

制御部３５は、境界明瞭化モードから境界検出モードに移行する（Ｓ１０）。この間、制御部３５は例えば「境界検出中」などのメッセージをディスプレイ２１に表示する。

制御部３５は、電子ミラー用カメラ２３にゲインコントロールをＯＦＦするための制御信号を送信する（Ｓ２０）。電子ミラー用カメラ２３はゲインコントロールをＯＦＦにして撮影した映像をカメラコンピュータ２２に送信する。ゲインコントロールをＯＦＦにするのは、実景が映り込んだボデーと実景の明るさを揃えるためゲインを制御すると境界が不明瞭になるためである。このように、ゲインコントロールをＯＦＦにすることで境界が不明瞭となる前の画像データが得られる。

本実施形態ではゲインコントロールをＯＦＦしたが、この他、境界が不明確となる画像処理をＯＦＦすること、又は、境界が明確となる画像処理をＯＮしてもよい。例えば絞りやシャッター速度を調整する機能をＯＦＦ又はＯＮしてもよく、ダイナミックレンジを変更する機能をＯＦＦ又はＯＮしてもよい。

次に、映像解析部３４は境界の検出を開始する（Ｓ３０）。図９（ａ）に示すように水平方向（ｘ軸方向）に並んだ画素列をラインと称し、ラインに沿って処理する。本実施形態では水平方向に隣接した輝度値に閾値以上の差（エッジ）がある場合に、そこを境界の位置に決定する。つまり、境界には実景とボデーの色や明るさの違いがエッジとなって現れるので、そのエッジを検出する。

ここで、水平方向のラインの全体から閾値以上の輝度値の差の有無を走査してもよいが、電子ミラー用カメラ２３の取り付け位置（光軸の向き）及びボデーのサイズと形状は設計上、決まっている。このため計算上の境界を求めることができる。そして、計算上の境界を中心に水平方向に数十から数百画素程度を境界推定範囲とすればよい。エッジの検出範囲を限定することで、境界以外のエッジを検出することを抑制できる。

図９（ｂ）は設計値から求められた境界推定範囲の一例を示す図である。境界推定範囲は予め不揮発メモリ３７に記憶しておくことができるが、図８の処理の中でカメラコンピュータ２２が求めてもよい。

また、設計値から計算するのでなく「画像データの中央から水平方向左側に数百画素」のように境界推定範囲を固定してもよい。この場合は垂直方向に帯状の境界推定範囲が得られる。「中央から水平方向左側」とは、中央よりも左側に境界が存在するように電子ミラー用カメラ２３が取り付けられていることが前提なので、「中央」は電子ミラー用カメラ２３の取り付け位置に応じて変えることが好適である。いずれの場合も、カメラコンピュータ２２による境界推定範囲の計算負荷を低減することができる。

また、運転者やサービスマン等が境界推定範囲を指定してもよい。すなわち、運転者やサービスマン等はディスプレイ２１に画像データを表示させ、操作部２６を操作して境界推定範囲を指定する。例えば、タッチパネルで境界推定範囲の外縁を指でなぞる、マウスで境界推定範囲の左上頂点と右下頂点を選択する、ことで帯状の境界推定範囲を指定できる。目視により境界推定範囲を指定するので取り付け誤差が大きい場合にも安定して境界を検出することができる。

図８に戻り、映像解析部３４は境界推定範囲の隣り合う画素の輝度の差を順番に求めていき、閾値ａ以上か否かを判定する（Ｓ４０）。閾値ａは予め実験的に定めておく。

隣り合う画素の輝度の差が閾値ａ以上でない場合（Ｓ４０のＮｏ）、境界ではないと判定して次に隣り合う画素（ドット）の輝度の差を求める（Ｓ５０）。そして、ステップＳ４０に戻り、隣り合う画素の輝度の差が閾値ａ以上か否かの判定を繰り返す。

隣り合う画素の輝度の差が閾値ａ以上の場合（Ｓ４０のＹｅｓ）、映像解析部３４は隣り合う画素の左右どちらかの画素の座標（着目しているラインの水平座標）をＲＡＭなどに記憶しておく。

そして、垂直方向（ｙ軸方向）に隣接したラインについてステップＳ４０、Ｓ５０の処理を行う（Ｓ６０）。なお、ステップＳ４０、Ｓ５０で輝度の差が閾値ａ以上の隣り合う画素が見つからない場合、映像解析部３４は水平方向の中央の画素を暫定的に境界に決定する。

映像解析部３４はステップＳ４０、Ｓ５０の処理を最後のラインまで行う（Ｓ７０）。したがって、ラインの数だけ境界となる画素の座標（ｘ、ｙ）が得られたことになる。

次に、映像解析部３４は、境界となる画素の座標（ｘ、ｙ）のエラー訂正を行う（Ｓ８０）。図９（ｃ）はエラー訂正について説明する図の一例である。輝度の差が閾値ａ以上でもボデーに局所的に反射した部位、ボデーの部品によるエッジ、レンズの汚れ、ノイズなどにより、正しい境界が得られていない場合がある。このため、映像解析部３４は、垂直方向に隣接した境界となる画素の座標（ｘ、ｙ）のｘ座標を比較して、閾値ｂ以上ずれている場合、ｘ座標を訂正する。図示するように着目するラインのｘ座標が、隣接した上側のラインと下側のラインのｘ座標の両方に対し閾値ｂ以上離れている場合、着目するラインのｘ座標を訂正する。

訂正後のｘ座標は、例えば着目しているラインの前後のラインの境界のｘ座標の平均値である。図９（ｃ）では、着目しているラインの前後のラインの境界のｘ座標が同じなので、訂正後のｘ座標は前後のラインの境界のｘ座標と同じである。こうすることで、境界の検出結果にエラーが含まれていても確からしい位置に訂正することができる。

また、平均を算出する際は着目するラインの前後だけでなく、前側の複数個（例えば３〜１０個程度）及び後側の複数個の平均を、訂正後のｘ座標としてもよい。また、平均ではなく、着目しているラインの直前のラインの境界のｘ座標、又は、直後のラインの境界のｘ座標としてもよい。

エラー訂正は、境界となる画素の座標（ｘ、ｙ）の全てに行う。ｘ座標を訂正したことで、訂正されなかったラインの境界のｘ座標が、前後のラインの境界のｘ座標に対し閾値ｂ以上ずれる可能性がある。このため、映像解析部３４は、境界となる画素の座標（ｘ、ｙ）のｘ座標が前後のラインに対し閾値ｂ以上ずれなくなるまで、エラー訂正を繰り返し行う。

エラー訂正が完了することで、１つの境界情報が得られる（Ｓ９０）。

制御部３５は、電子ミラー用カメラ２３にゲインコントロールをＯＮするための制御信号を送信する（Ｓ１００）。

そして、映像解析部３４は不揮発メモリ３７に境界情報を書き込む（Ｓ１１０）。図１０は境界情報の一例を示す図である。境界情報は、ライン番号（ｙ座標と同じ）に対応づけられたｘ座標、または、境界となる画素の座標（ｘ、ｙ）がｙ座標の昇順又は降順にソートされたものである。

以上のようにして、カメラコンピュータ２２は境界情報を作成する。なお、車両が停止した状態では画像データは大きく変化しないので、１フレームのみから境界情報を作成してもよい。また、複数フレーム（例えば、数フレーム〜数十又は数百フレーム）で同じように境界情報を求め、１ライン毎にｘ座標の平均を算出して、最終的な境界情報を求めてもよい。

〔境界を明瞭化するための画像処理〕
図１１は、境界の明瞭化を模式的に説明する図の一例である。映像処理部３６は、例えば以下のようにして境界を明瞭化するための画像処理を行う。
(i) 図１１（ａ）に示すように、境界よりも（境界を含んでもよい）ボデー側の画素全ての輝度を低下させる。ボデー側の輝度が低下することで実景との境界が明瞭になる。輝度は、常に一定量低下させてもよいし、環境光を照度センサで測定し該照度に応じて低下量を増減してもよい。ディスプレイ２１が白黒の画像データ（０〜２５５段階の輝度値を取り０が黒画素、２５５が白画素の場合）を表示する場合、輝度値を小さくする。ディスプレイ２１がＲＧＢのカラー画像を表示する場合、Ｒ値、Ｇ値、Ｂ値は以下のようにして輝度値に変換される。
Y=0.299R+0.587G+0.114B
0.299、0.587、0.114が輝度に対するＲＧＢの比率（足すとほぼ１になる）、この比率でＲ値とＧ値とＢ値をそれぞれ小さくすることで、色を変えずに輝度を下げることができる。また、輝度に寄与する比率が大きいＧ値のみを小さくしてもよいし、Ｒ値とＧ値を小さくしてもよい。
(ii) 図１１（ｂ）に示すように、境界よりも（境界を含んでもよい）ボデー側の画素全に、元の画素値に関係なく固定値を書き込む。固定値は例えば黒又は黒と見なせる暗い色とすることで実景との境界が明瞭になる。ディスプレイ２１が白黒の画像を表示する場合、固定値として例えば"０"を書き込む。ディスプレイ２１がＲＧＢのカラー画像を表示する場合、（Ｒ、Ｇ、Ｂ）＝（０，０，０）を書き込む。また、ボデー色と同じ又は近い輝度値や色を書き込んでもよい。すなわちボデー色が黒であれば、上記のとおりでよいし、白の場合は輝度値として"２５５"、（Ｒ、Ｇ、Ｂ）＝（２５５，２５５，２５５）を書き込む。グレーの場合、ボデー色の濃度のグレーに対応する輝度値又はＲＧＢ値を書き込む。

また、例えば、ボデー色が黄色などの彩度を有し、ディスプレイ２１がＲＧＢのカラー画像を表示する場合、例えば黄色のＲＧＢ値である（Ｒ、Ｇ、Ｂ）＝（２５５，２５５，０）を書き込む。ボデー色が黄色などの彩度を有するが、ディスプレイ２１が白黒の画像を表示する場合、ボデー色を輝度に変換した輝度値を書き込む。これによりディスプレイ２１に表示されるボデーは撮影されたボデーと同程度の明るさで表示されるため、運転者の違和感が少なくなる。

(iii) また、ボデーの全体の輝度を低減したり、ボデーの全体に固定値を書き込まなくてもよい。図１１（ｃ）では、ボデーと実景の境界からボデー側に所定の画素数の画素に対してのみ、(i)又は(ii)の処理を施している。(i)又は(ii)の処理が施される領域を以下、エッジ領域４０という。エッジ領域４０の幅は、運転者が視認可能な幅以上であればよい。

エッジ領域４０には(i)又は(ii)の処理の他、高輝度となる白の輝度値又はＲＧＢ値を書き込んでもよい。また、エッジ領域４０の幅を最小限に細くして点滅させてもよい（白画素と黒画素を交互に切り替える）。点滅させることでエッジ領域４０が狭くても運転者はボデーと実景の境界を容易に把握できる。また、境界からボデー側に徐々に輝度や色が変化するようにエッジ領域４０の画素値を処理してもよい（グラデーション処理）。これにより、エッジ領域４０が明瞭になりかつエッジ領域４０が存在することの違和感を低減できる。また、グラデーション処理はエッジ領域４０に限られずボデーの全体に施してもよい。

境界を(i)〜(iii)のどの手法で強調するかは運転者が操作部２６から選択可能になっている。または、携帯端末やＰＣ（Personal Computer）からサーバを介して車両に設定可能になっている。

エッジ領域４０よりもボデー側には、何も処理を施さなくてもよいし、以下のような処理を施してもよい。
ａ．例えば、ウィンカスイッチのＯＮを検出した場合に後方から他車両が接近していること、ソナーなどで検出した障害物に対し異常接近するおそれがあること等、運転者が電子ミラーに視線移動する状況で有用な警告情報を表示する。
ｂ．文字が小さいため判読が困難であれば、赤色や黄色などの注意喚起性の高い色を点滅されるなどしてもよい。
ｃ．また、自車両が後方を撮影する後方カメラを搭載している場合、後方カメラが撮影した画像データを、電子ミラー用カメラ２３が撮影した画像データに合成してもよい。

図１２（ａ）は電子ミラー用カメラ２３と後方カメラ１６の撮影範囲を模式的に示す図の一例である。電子ミラー用カメラ２３の画角に対し、ボデーが撮影される範囲が電子ミラー用カメラ２３の死角である。電子ミラー用カメラ２３には車両Ｂは撮影されているが、車両Ａが映らない。これに対し、後方カメラ１６は死角を含む後方の所定範囲を撮影するため、車両Ａを撮影している。よって、後方カメラ１６の画像データで電子ミラー用カメラ２３の画像データのボデー側を補うことができる。

図１２（ｂ）は画像データの合成を説明する図の一例である。画像１は後方カメラ１６の画像データを、画像２は電子ミラー用カメラ２３の画像データをそれぞれ示す。映像処理部３６は画像１に対しエッジ領域４０を強調する処理を施す。そして、電子ミラー用カメラ２３の死角（ボデー部）に対応する死角部分１７を画像１から取り出す。死角部分１７は、電子ミラー用カメラ２３の仕様及び取り付け位置、後方カメラ１６の仕様及び取り付け位置から特定されている。または、適当な合成位置を運転者等が任意に選択してもよい。死角部分１７は、電子ミラー用カメラ２３と後方カメラ１６の位置や仕様の違いにより、電子ミラー用カメラ２３の画像データよりも縮小または拡大されているので、映像処理部３６はサイズ補正を行う。また、ゲインやシャッター速度の違いにより、明るさや色調などの画質が異なっているので、映像処理部３６は画質補正を行う。このような画像処理を施した死角部分１７を画像２に合成する（すなわち、画像２のボデー部に、画像処理が施された死角部分１７の画素値を書き込む）。

このように後方カメラ１６を使用することで、運転者はエッジ領域４０によりボデー部と実景の境界を把握すると共に、電子ミラー用カメラ２３の死角の他車両などの存在を把握することができる。

なお、ボデー部にａ〜ｃのどの画像処理を施すかは運転者が操作部２６から選択可能になっている。または、携帯端末やＰＣからサーバを介して車両に設定可能になっている。

〔動作手順〕
図１３は周辺監視システム１００の動作手順の一例を示すフローチャート図である。図１３の処理は周辺監視システム１００が起動されるとスタートする。起動直後は境界明瞭化モードである。

まず、映像処理部３６は不揮発メモリ３７から設定値を読み出す（Ｓ２１０）。この設定値には、境界の明瞭化を行うか否か、行う場合にはどのように境界を明瞭化するか、ボデーが撮影されている範囲の画像処理方法などが設定されている。

電子ミラー用カメラ２３は所定のフレームレートで画像データを撮影し、順次、カメラコンピュータ２２に送信している（Ｓ２２０）。

制御部３５は境界検出モードへの移行操作が検出されたか否かを判定する（Ｓ２３０）。境界検出モードへの移行操作が検出された場合（Ｓ２３０のＹｅｓ）、映像解析部３４は図８で説明した境界検出モードの処理を実行する（Ｓ２５０）。

境界検出モードへの移行操作が検出されない場合（Ｓ２３０のＮｏ）、映像処理部３６は不揮発メモリ３７から読み出した境界情報に基づき画像データに境界を明瞭化する処理を施す（Ｓ２４０）。

以上、説明したように本実施形態の周辺監視システム１００は、車両に電子ミラーを搭載した場合でも、実景とボデーに映り込んだ反射像との境界を明瞭に識別させることができる。

２１ ディスプレイ
２２ カメラコンピュータ
２３ 電子ミラー用カメラ
３１ 映像変換部
３２ 通信処理部
３３ ＶＲＡＭ
３４ 映像解析部
３５ 制御部
３６ 映像処理部
３７ 不揮発メモリ
１００ 周辺監視システム

Claims (8)

1. 自車両の車体と車両周辺とを撮影範囲に含む撮影手段と、
   前記撮影手段が撮影した画像データにおける、前記車体と前記車両周辺との境界の位置を示す境界情報が記憶された境界情報記憶手段と、
   前記境界情報に基づき、前記画像データに前記境界を明瞭化する処理を施す画像処理手段と、
   前記画像処理手段が前記境界を明瞭化する処理を施した前記画像データを表示する表示手段と、
   を有することを特徴とする周辺監視システム。
2. 前記画像処理手段は、前記画像データの前記境界よりも前記車体側の範囲の画素の輝度を低減する、又は、前記画像データの前記境界よりも前記車体側の範囲の画素に所定の画素値を書き込む、ことを特徴とする請求項１記載の周辺監視システム。
3. 前記画像処理手段は、前記画像データの前記境界を含む前記車体側の範囲の画素の一部にのみ、輝度を低減する処理、又は、所定の画素値を書き込む処理を施す、ことを特徴とする請求項１記載の周辺監視システム。
4. 前記画像処理手段は、前記一部以外の前記車体側の範囲の画素に警告情報を表示する、ことを特徴とする請求項３記載の周辺監視システム。
5. 前記画像処理手段は、前記一部以外の前記車体側の範囲の画素に、後方を撮影する後方撮影手段が撮影した画像であって、前記車体により死角になっている範囲の画像データを合成する、ことを特徴とする請求項３記載の周辺監視システム。
6. 前記画像データの水平方向の画素列を１ラインとして、水平方向に第１閾値以上のエッジ強度がある場合にライン番号に対応づけて水平位置を特定する境界検出手段を有し、
   前記境界検出手段は、着目するラインの水平位置が前及び後のラインの水平位置に対し第２閾値以上ずれている場合、前後のラインの水平位置に基づき着目するラインの水平位置を訂正する、ことを特徴とする請求項１〜５いずれか１項記載の周辺監視システム。
7. 前記境界検出手段が前記境界を検出している間、前記撮影手段のゲインコントール機能をＯＦＦに設定する制御手段、を有することを特徴とする請求項６記載の周辺監視システム。
8. 前記撮像手段は前輪のフェンダー部に光軸を後方から後側方に向けて取り付けられている、ことを特徴とする請求項１〜７いずれか１項記載の周辺監視システム。

Images