JP6807771B2 - 車両用監視装置 - Google Patents

Description

本発明は、車両用監視装置に関する。

従来より、自動車などの車両には、ドアミラー等のアウターミラーが設けられている。このアウターミラーは、運転者が車両の後方及び後側方を視認する際に利用されるものであり、車体側面に外方へと膨出するように設けられている。ところで、このようなアウターミラーにあっては、車両走行時の空気抵抗を増加させる要因となっており、また、ミラーの形状や大きさには制限があるため、運転者の死角となる領域が発生してしまうことがあった。

そこで、近年では、アウターミラーに代えてカメラなどの撮像手段を車両に搭載した電子ミラー装置が提案されている（例えば特許文献１参照）。この電子ミラー装置においては、撮像手段により車両の後方及び後側方が撮像され、撮像した画像は車室内のモニターに表示される。車両の後方視界を適切に得るために、撮像手段の画角（撮像範囲）は、車体側面を含むように設定されている。

また、例えば特許文献２には、車両走行時の障害物を検知するなどの目的で、車両のサイドドアのアウトサイドハンドルにカメラを搭載する技術が開示されている。この技術において、カメラの撮像範囲には、車両の車体側面及び車両の後方などが含まれている。

特開２０１６−１２４３９１号公報 特開２０１１−１０５０５８号公報

このように、近年においては、様々な目的で車両に撮像手段が搭載されることから、この撮像手段の機能を有効に活用することが求められている。

本発明はかかる事情に鑑みてなされたものであり、その目的は、車体に搭載された撮像手段を利用して車両に発生する異常を監視することができる車両用監視装置を提供することである。

かかる課題を解決するために、本発明は、車両の車体側面を含んだ状態で車両の後方及び後側方を撮像する撮像手段を具備する車両に搭載される車両用監視装置において、撮像手段の撮像画像に現れる車体側面の基準状態を規定する参照画像を格納する記憶部と、撮像手段が撮像した撮像画像と記憶部から読み出した参照画像とを比較して、車体の異常状態を判断する監視制御を行う画像比較部と、を有することを特徴とする。

ここで、本発明において、車両には、車両の後方及び後側方を撮像した画像を乗員に表示する電子ミラー装置が搭載されていることが好ましい。この場合、撮像手段は、電子ミラー装置において車両の後方及び後側方を撮像する撮像手段であることが望ましい。

また、本発明において、撮像手段は、車両のサイドドアの外側に配設されるアウトサイドハンドルに取り付けられていることが好ましい。

さらに、本発明において、画像比較部は、車両の停車時において監視制御を行うことが好ましい。

本発明によれば、車両の後方視界に対応する撮像画像を利用することで、車両に発生する異常を適切に監視することができる。

車両を示す説明図 第１の実施形態に係る車両用監視装置を含む車両のシステム構成を示すブロック図 第１の実施形態に係る車両用監視装置による監視制御の手順を示すフローチャート 第２の実施形態に係る車両用監視装置の構成を示すブロック図 第２の実施形態に係る参照画像の更新処理を示すフローチャート

以下、本実施形態に係る車両用監視装置２０が搭載された車両Ｃについて説明する。ここで、図１は、車両Ｃを示す説明図である。図２は、本実施形態に係る車両用監視装置２０を含む車両Ｃのシステム構成を示すブロック図である。本実施形態に係る車両Ｃは、例えば、左右一対のフロントサイドドア２、左右一対のリアサイドドア３を備えるタイプの自動車である。

この車両Ｃは、電子ミラー装置１０を搭載している。電子ミラー装置１０は、ドアミラーなどのアウターミラーに代えて、カメラ５を利用して後方視認を行う装置である。電子ミラー装置１０は、車両Ｃに搭載された左右一対のカメラ５と、電子ミラー制御部１１と、左右のカメラ５に対応する一対の表示部１２と、を主体に構成されている。

カメラ５は、左右の車体側面にそれぞれ設けられており、本実施形態では、フロントサイドドア２のアウトサイドハンドル４に搭載されている。個々のカメラ５は、図１の破線の範囲で示すように、車両Ｃの後方視界、すなわち、車体側面を含んだ状態で車両Ｃの後方及び後側方を撮像する（撮像手段）。具体的には、右カメラ５は、右側の車体側面を含んだ状態で車両Ｃの後方及び右後側方を撮像し、左カメラ５は、左側の車体側面を含んだ状態で車両Ｃの後方及び左後側方を撮像する。カメラ５としては、ＣＭＯＳ、ＣＣＤなどの撮像素子と、広角レンズとを用いたデジタルカメラが好適である。

電子ミラー制御部１１は、電子ミラー装置１０を制御するものであり、これを機能的に捉えた場合、画像取得部１１ａと、画像処理部１１ｂと、画像表示部１１ｃとで構成されている。電子ミラー制御部１１としては、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータを用いることができる。

画像取得部１１ａは、左右のカメラ５に接続されており、左右のカメラ５から、車両Ｃの後方及び後側方を撮像した撮像画像を一定周期で取得する。画像処理部１１ｂは、画像取得部１１ａが取得した撮像画像を、所定の切り出し範囲に応じて切り出して、表示用画像を生成する。画像処理部１１ｂは、左右のカメラ５に対応して、左右の表示用画像をそれぞれ生成する。画像表示部１１ｃは、画像処理部１１ｂから表示用画像を受け取ると、この画像を一対の表示部１２に表示する。この際、画像処理部１１ｂは、右カメラ５から処理した表示用画像を、右カメラ５に対応する表示部１２に表示し、左カメラ５から処理した表示用画像を、左カメラ５に対応する表示部１２に表示する。

一対の表示部１２は、例えば有機ＥＬディスプレイ又は液晶ディスプレイ等である。各表示部１２は、電子ミラー制御部１１と接続されている。一対の表示部１２は、例えば、車室内において、ウインドシールドの両側に位置する各フロントピラーの基端部に配置されている。右カメラ５に対応する表示部１２は、右側のフロントピラーの基端部に配置され、左カメラ５に対応する表示部１２は、左側のフロントピラーの基端部に配置されている。もっとも、一対の表示部１２は、インストルメントパネルなどの車室内の他の部位に設けられるものであってもよい。

本実施形態の特徴の一つとして、車両Ｃは、車両用監視装置２０を搭載している。車両用監視装置２０は、車両Ｃの車体側面に生じる異常を監視する装置である。車両用監視装置２０が監視する異常としては、例えば、半ドア状態、サイドドア２，３への異物の挟み込み、給油口のリッドの開状態などが該当する。車両用監視装置２０は、監視制御部２１と、報知部２２と、を主体に構成されている。車両用監視装置２０は、左右一対のカメラを独自に備える構成とはなっておらず、電子ミラー装置１０が備える左右のカメラ５を利用する仕様となっている。

監視制御部２１は、電子ミラー装置１０を制御するものであり、これを機能的に捉えた場合、画像取得部２１ａと、記憶部２１ｂ、画像比較部２１ｃと、報知制御部２１ｄとで構成されている。電子ミラー制御部１１としては、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータを用いることができる。

画像取得部２１ａは、左右のカメラ５に接続されており、左右のカメラ５から、車両Ｃの後方及び後側方を撮像した撮像画像を取得する。記憶部２１ｂは、カメラ５の撮像画像に現れる車体側面の基準状態を規定する参照画像を格納している。記憶部２１ｂには、右カメラ５に対応する参照画像と、左カメラ５に対応する参照画像とがそれぞれ格納されている。画像比較部２１ｃは、カメラ５で実際に撮像された撮像画像と、記憶部２１ｂから読み出した参照画像とを比較して、車体の異常状態を判断する。異常状態の判断は、左右の車体側面についてそれぞれ行われる。具体的には、画像比較部２１ｃは、右カメラ５に対応する参照画像と、右カメラ５において撮像された撮像画像とを比較し、車体右側の異常状態を判断する。また、画像比較部２１ｃは、左カメラ５に対応する参照画像と、左カメラ５において撮像された撮像画像とを比較し、車体左側の異常状態を判断する。画像比較部２１ｃが判断する異常は、半ドア状態、サイドドア２，３への異物の挟み込み、給油口のリッドの開状態などであり、これらの異常は、カメラ５によって実際に撮像された撮像画像において参照画像とは異なる特徴として現れる。報知制御部２１ｄは、画像比較部２１ｃが異常状態を判断した場合に、報知部２２を制御して、報知を行う。

報知部２２は、所定の情報を乗員に報知するものである。報知部２２としては、インストルメントパネルに配設されたナビゲーション用のディスプレイ６、スピードメータなどが配設されたメータ装置における警報ランプ７、或いは、スピーカ８を用いることができる。

車両Ｃは、ＣＡＮ（Controller Area Network）が設けられており、電子ミラー装置１０の電子ミラー制御部１１及び車両用監視装置２０の監視制御部２１はＣＡＮに接続され、相互に通信可能に構成されている。また、監視制御部２１は、ＣＡＮを介して、車両Ｃに搭載された各種センサや各種制御システムの制御部と通信することができる。

このような制御システムとしては、スマートエントリ又はパッシブエントリと呼ばれる、車両Ｃのサイドドア２，３の施錠又は解錠、及びエンジン始動を行う車両用認証システム３０が挙げられる。車両用認証システム３０は、車両Ｃに搭載された車載器３１と、車両Ｃのユーザが所持する電子キー３２とで構成されている。この車両用認証システム３０は、車載器３１と電子キー３２とが無線通信による認証を行うことで、電子キー３２のスイッチ操作や機械式キーによる操作を行うことなく、ドア開閉の一連の操作過程の中でサイドドア２，３の施錠又は解錠を実行したり、車内に設置されたエンジンスイッチの操作をするのみでエンジンの始動を実行したりする。また、車両用認証システム３０は、電子キー３２に配設されるスイッチの操作を通じて、サイドドア２，３の施錠又は解錠を実行することもできる。

図３は、本実施形態に係る車両用監視装置２０による監視制御の手順を示すフローチャートである。このフローチャートに示す処理は、車両Ｃのイグニッションスイッチのオンをトリガーとして、監視制御部２１により実行される。なお、イグニッションスイッチがオンされた際、車両Ｃは停車状態にある。

まず、ステップ１０（Ｓ１０）において、画像取得部２１ａは、左右のカメラ５から撮像画像をそれぞれ取得する。左右のカメラ５から出力される撮像画像（左右の撮像画像）には、車両Ｃの後方及び後側方の景色とともに、車両Ｃの車体側面が映し出されている。画像取得部２１ａが取得した左右の撮像画像は、画像比較部２１ｃに出力される。

ステップ１１（Ｓ１１）において、画像比較部２１ｃは、記憶部２１ｂから、右カメラ５に対応する参照画像と、左カメラ５に対応する参照画像とを読み出す。

ステップ１２（Ｓ１２）において、画像比較部２１ｃは、右カメラ５に対応する参照画像と、右カメラ５から取得した撮像画像とを比較し、車体右側の異常状態を判断する。すなわち、画像比較部２１ｃは、異常がない状態で映り込んだ右車体側面（参照画像）と、実際に撮像された右車体側面（実際の撮像画像）とを比較し、両者の相違から車体右側の異常状態を判断する。画像比較部２１ｃが判断する異常は、フロントサイドドア２又はリアサイドドア３の半ドア状態、サイドドア２，３への異物の挟み込み、給油口のリッドの開状態などである。

（１）半ドア状態
フロントサイドドア２が半ドア状態である場合、全閉状態の場合と比較してフロントサイドドア２の位置が外側へとずれるため、アウトサイドハンドル４に搭載されているカメラ５の位置も外側へとずれることとなる。このため、半ドア状態の場合、撮像画像に映り込む車体側面の位置（例えば、車体側面の外縁位置）は、参照画像のそれと比較してずれることとなる。よって、撮像画像と参照画像との比較から、撮像画像における車体側面の外縁位置と、参照画像における車体側面の外縁位置とのずれを判断することで、フロントサイドドア２の半ドア状態を判断することができる。

一方、リアサイドドア３が半ドア状態である場合、全閉状態の場合と比較してリアサイドドア３の位置が外方へとずれる。このため、半ドア状態の場合、撮像画像に映り込むリアサイドドア３の位置（例えば、リアサイドドア３の外縁位置）は、参照画像のそれと比較してずれることとなる。よって、撮像画像と参照画像との比較から、撮像画像におけるリアサイドドア３の外縁位置と、参照画像におけるリアサイドドア３の外縁位置とのずれを判断することで、リアサイドドア３の半ドア状態を判断することができる。

（２）サイドドア２，３への異物の挟み込み
異物を挟んだ状態でサイドドア２，３を閉じた場合、サイドドア２，３からはみ出した異物が撮像画像に映り込む。そこで、撮像画像と参照画像との比較から、撮像画像内においてサイドドア２，３の外縁の周辺に、参照画像にはない特徴が存する場合には（例えば、車体カラーとは異なる色のオブジェクトが存する、或いは、参照画像にはない輝度エッジが存する場合）、異物の挟み込みを判断することができる。

（３）給油口のリッドの開状態
給油口のリッドが開状態である場合、全閉状態の場合と比較してリッドの後端側が外側へとずれる。このため、開状態において撮像画像に映り込むリッドの位置（例えば、リッドの外縁位置）は、参照画像のそれと比較してずれることとなる。よって、撮像画像と参照画像との比較から、撮像画像におけるリッドの外縁位置と、参照画像におけるリッドの外縁位置とのずれを判断することで、給油口のリッドの開状態を判断することができる。

なお、画像比較部２１ｃは、これらの異常以外にも、右カメラ５に対応する参照画像と、右カメラ５から取得した撮像画像とを比較し、撮像画像に映し出された車体の範囲内に、参照画像とは異なる特徴を認めることができた場合には、車体の異常状態を判断することができる。

また、画像比較部２１ｃは、右カメラ５と同様、左カメラ５に対応する参照画像と、左カメラ５から取得した撮像画像とを比較し、車体右側の異常状態を判断する。

ステップ１３（Ｓ１３）において、画像比較部２１ｃは、車体に異常があるか否かを判断する。車体に異常がある場合には、ステップ１３において肯定判定され、ステップ１４（Ｓ１４）に進む。車体に異常がない場合には、ステップ１３において否定判定され、ステップ１４をスキップして本ルーチンを終了する。

ステップ１４において、報知制御部２１ｄは、報知部２２を制御して、車体の異常状態を報知する。報知の方法としては、ディスプレイ６又は警報ランプ７を利用した異常状態の表示、或いは、スピーカ８を利用した音声出力又は警報音出力などが挙げられる。また、報知の内容としては、単に異常があることのみを報知してもよいが、その異常の種類が理解できるような態様で報知を行ってもよい。

このように本実施形態において、車両用監視装置２０は、カメラ５が撮像した撮像画像と参照画像とを比較して、車両Ｃの車体の異常状態を判断する監視制御を行っている。後方視界を得るためのカメラ５は、車両Ｃの後方を写し出す必要があることから、その画角内には車両Ｃの車体側面が含まれている。そのため、カメラ５の撮像画像を利用することで、車体に現れる異常状態を適切に監視することができる。

また、通常であれば、半ドア状態や、給油口のリッドの閉め忘れを検出するためには、センサを複数の箇所に配置して、これらの状態を検出する必要があった。しかしながら、本実施形態の手法によれば、一対のカメラ５のみで実現することができるので、部品点数の増加や、コストアップを抑制することができる。

また、本実施形態において、車両用監視装置２０のカメラ５は、電子ミラー装置１０において車両Ｃの後方及び後側方を撮像するカメラ５（撮像手段）と共用されている。

この構成によれば、それぞれの装置が独自に撮像手段を用意する必要がなく、これを共用することで、車両用監視装置２０を安価に構築することができる。特に、電子ミラー装置１０におけるカメラ５は、従来のアウターミラーの使用感との相違を軽減するために、アウターミラーに映る後方視界と同様に、その画角が設定されることが多い。そのため、カメラ５の撮像範囲は、車両Ｃの車体側面が含まれるように設定されている。これにより、カメラ５を共用しても、車両用監視装置２０において車体の異常状態を適切に検出することができる。

また、電子ミラー装置１０によれば、車両Ｃの走行時にカメラ５から出力される撮像画像を利用するものであるが、車両用監視装置２０が判断対象とする車体の異常は、乗員の乗降車時において発生するものであるから、車両用監視装置２は、車両Ｃの停車時においてカメラ５から出力される撮像画像を利用するものである。そのため、走行時と停車時とでカメラ５を異なる機能により利用することができ、カメラ５及びその撮像画像を有効に活用することができる。

また、本実施形態によれば、カメラ５は、車両Ｃのサイドドア２，３の外側に配設されるアウトサイドハンドル４に取り付けられている。

この構成によれば、車両Ｃの車体側面にアウターミラーが無いような車体であっても、後方視界を得ることができる場所にカメラ５を配置することができる。これにより、後方視界を有効に得ることができるとともに、車体の異常を適切に監視することができる。

なお、本実施形態では、車両Ｃに対する乗員の乗車時における異常状態を検知することを前提にイグニッションスイッチのオン時に監視制御を行っている。しかしながら、監視制御は、車両Ｃから乗員が降車する際に行ってもよい。例えば、イグニッションスイッチがオフされた後、所定の遅延時間だけ車両用監視装置２０に対して電力を供給し、イグニッションスイッチをオフした後も車両用監視装置２０を動作可能としておく。そして、車両用監視装置２０は、車両用認証システム３０のスマートエントリ機能を利用したサイドドア２，３の施錠、或いは、電子キー３２を利用したサイドドア２，３の施錠をトリガーとして、監視制御を行ってもよい。

また、イグニッションスイッチがオンされた状態で車両Ｃが停車している際に、サイドドア２，３の開閉があった場合には、サイドドア２，３が開状態から閉状態への操作されたことをトリガーとして、監視制御を行ってもよい。

このように、監視制御部２１は、電子ミラー装置１０の動作期間と重ならない期間、例えば車両の停車時において監視制御を行うことができる。これにより、走行時と停車時とでカメラ５を異なる機能により利用することができ、カメラ５及びその撮像画像を有効に活用することができる。

また、本実施形態において、報知制御部２１ｄは、報知部２２を制御して、車体の異常状態を報知している。

この構成によれば、車体の異常状態を乗員に報知することができる。これにより、車体に異常が生じている状態で車両Ｃの走行を開始したり、車両Ｃから離れてしまったりするという事態を抑制することができる。

なお、本実施形態では、報知制御部２１ｄは、乗員に対して異常状態を報知することを基本的な制御態様としているが、報知制御部２１ｄは、画像比較部２１ｃが車体の異常状態を判断した場合に所定の制御を行うものであればよく、報知以外の制御を行うものであってもよい。例えば、報知制御部２１ｄは、車両Ｃに搭載される他の制御システム（外部機器）に対して、異常状態を示す信号を送信する制御を行うものでもよい。これにより、この信号を受けた制御システムでは、当該システムが具備する報知手段を利用して報知を行ったり、当該システムを構成する機器を不作動にしたりする、といった動作を行うことができる。

（第２の実施形態）
図４は、第２の実施形態に係る車両用監視装置２０の構成を示すブロック図である。この第２の実施形態に係る車両用監視装置２０が第１の実施形態のそれと相違する点は、参照画像を更新する機能を備える点である。以下、第１の実施形態と重複する構成についての説明は省略し、相違点を中心に説明を行う。

経年変化などにより、カメラ５の画角と車体との位置関係にずれが生じることがある。この場合、撮像画像に映し出される車体の位置にもずれが生じるため、実際には車体に異常が生じていないにも関わらず、参照画像との相違が認められ、異常が判断されてしまうことがある。そこで、本実施形態では、図４に示すように、車両用監視装置２０の監視制御部２１が参照画像更新部２１ｅを備え、この参照画像更新部２１ｅにより、記憶部２１ｂに格納される参照画像を必要に応じて更新することとしている。

図５は、参照画像の更新処理を示すフローチャートである。このフローチャートに示す処理は、監視制御部２１により実行される。

まず、ステップ２０（Ｓ２０）において、画像取得部２１ａは、サイドドア２，３が解錠されたか否かを判断する。サイドドア２，３が解錠された場合には、ステップ２０において肯定判定され、ステップ２１（Ｓ２１）に進む。一方、サイドドア２，３が施錠されたままの場合には、ステップ２０に戻る。

ステップ２１において、画像取得部２１ａは、左右のカメラ５から撮像画像をそれぞれ取得する。左右のカメラ５から出力される撮像画像（左右の撮像画像）には、車両Ｃの車体側面を含んだ状態で、車両Ｃの後方及び右後側方の景色が映し出されている。画像取得部２１ａが取得した左右の撮像画像は、参照画像更新部２１ｅに出力される。

ステップ２２（Ｓ２２）において、参照画像更新部２１ｅは、画像取得部２１ａから取得した左右の撮像画像により、記憶部２１ｂが格納する参照画像を更新する。

このように本実施形態によれば、車体の異常を検知するための参照画像を更新することができる。これにより、経年変化や、車両Ｃに対してオプション部品が追加されるようなケースであっても、参照画像に反映させることができる。これにより、精度の高い監視制御を行うことができる。

また、本実施形態によれば、サイドドア２，３が解錠されたタイミングで参照画像の更新を行っている。サイドドア２，３を解錠した際には、その前提としてサイドドア２，３が施錠状態にあることを意味するから、半ドア状態や異物の挟み込みといった状況は発生しておらず、サイドドア２，３が適正に閉状態となっている蓋然性が高い。そのため、解錠タイミングをトリガーとして参照画像の更新を行うことで、車体について適正な状態で参照画像の更新を行うことができる。その結果、精度の高い監視制御を行うことができる。

以上、本実施形態に係る車両用監視装置について説明したが、本発明は上述した実施形態に限定されることなく、その発明の範囲内において種々の変形が可能であることはいうまでもない。

例えば、上述した実施形態ではカメラをアウトサイドハンドに設置しているが、カメラはアウトサイドハンドル以外の場所に設置してもよい。

Ｃ 車両
２，３ サイドドア
４ アウトサイドハンドル
５ カメラ
６ ディスプレイ
７ 警報ランプ
８ スピーカ
１０ 電子ミラー装置
１１ 電子ミラー制御部
１２ 表示部
２０ 車両用監視装置
２１ 監視制御部
２１ａ 画像取得部
２１ｂ 記憶部
２１ｃ 画像比較部
２１ｄ 報知制御部
２１ｅ 参照画像更新部
２２ 報知部

Claims (4)

1. 車両の車体側面を含んだ状態で車両の後方及び後側方を撮像する撮像手段を具備する車両に搭載される車両用監視装置において、
   前記撮像手段の撮像画像に現れる前記車体側面の基準状態を規定する参照画像を格納する記憶部と、
   前記撮像手段が撮像した撮像画像と前記記憶部から読み出した参照画像とを比較して、前記車体の異常状態を判断する監視制御を行う画像比較部と、
   を有することを特徴とする車両用監視装置。
2. 前記車両には、車両の後方及び後側方を撮像した画像を乗員に表示する電子ミラー装置が搭載されており、
   前記撮像手段は、前記電子ミラー装置において車両の後方及び後側方を撮像する撮像手段であることを特徴とする請求項１に記載された車両用監視装置。
3. 前記撮像手段は、車両のサイドドアの外側に配設されるアウトサイドハンドルに取り付けられていることを特徴とする請求項１又は２に記載された車両用監視装置。
4. 前記画像比較部は、車両の停車時において監視制御を行うことを特徴とする請求項１から３のいずれかに記載された車両用監視装置。

Images