JP7271908B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車両に設置された撮像部（カメラ）により撮像された撮像画像データに基づく撮像画像を表示装置に表示させて車両の周辺の状況を運転者等に認識させたり、その撮像画像データに基づいて障害物の有無検出や接近検出等を実行したりするシステムがある。このようなシステムにおいて、撮像部の撮像面（例えばレンズ）に雨滴や埃、泥はね等の汚れが付着している場合、撮像画像に汚れが写り込み、適切な画像表示ができなかったり、その撮像画像を用いた適切な画像処理や検出処理ができなかったりする場合がある。そこで、撮像画像に対して画像処理を施して、汚れを取り除かれたかのような復元画像を生成して表示したり、他の処理に利用したりするシステムが提案されている。

特開２０１７－９２６２２号公報

しかしながら、特許文献１のシステムの復元画像は、１枚の撮像画像から復元された画像であり、その復元画像は、実世界の環境状況とは、必ずしも一致しない場合がある。例えば、汚れ部分にしか写ってない物体（汚れで隠蔽された物体）が存在した場合、復元画像に、その物体は再現されず、復元画像の信頼性が低下してしまう場合があった。その結果、例えば、復元画像を周辺情報として表示装置に表示して利用者に提供する場合、正確な情報が提示しきれない場合がある。また、復元画像（データ）を車両周囲の周辺監視（例えば、例えば障害物検出等）に利用する場合、監視信頼性が低下してしまう場合があった。したがって、より実世界の環境状況に近い復元画像を生成できる周辺監視装置が提供できれば、提供情報の品質向上、周辺監視精度の向上が図れて有意義である。

本発明の実施形態にかかる周辺監視装置は、例えば、車両に備えられて上記車両の周囲を撮像可能な撮像部で上記車両が移動している際に時系列的に撮像される複数の撮像画像を取得する取得部と、上記複数の撮像画像のうち最新の最新撮像画像に汚れが存在する場合に、学習用汚れが存在しない第１の学習用画像と、当該第１の学習用画像に上記学習用汚れが存在する、複数の第１の学習用汚れ画像と、の関係を機械学習した結果としての第１の学習済みモデルに、上記取得部によって時系列的に撮像された上記複数の撮像画像を入力して、第１復元画像を上記最新撮像画像において上記汚れにより隠蔽された領域を復元させた復元画像として生成する復元処理部と、を備える。この構成によれば、例えば、第１の学習済みモデルに、車両の移動中に撮像された時系列的に連続する複数の撮像画像を入力して復元画像を生成するので、最新撮像画像で汚れにより隠蔽されている領域でも時系列的に遡った過去の撮像画像では、汚れで隠蔽されていな可能性が高まる。その結果、最新撮像画像の汚れ領域の復元性を向上して、より実世界の環境状況に近い復元画像を生成することができる。

本発明の実施形態にかかる周辺監視装置の上記復元処理部は、例えば、上記第１の学習済みモデルに、上記学習用汚れが存在する、複数の第２の学習用汚れ画像を入力して生成した上記復元画像と、当該復元画像を復元する際に利用した複数の上記第２の学習用汚れ画像のうち最新の最新学習用汚れ画像との関係を、機械学習した結果としての第２の学習済みモデルに、上記第１復元画像と、上記最新撮像画像とを入力して、第２復元画像を上記復元画像として復元してもよい。この構成によれば、例えば、第１の学習済みモデルを用いて一度復元した第１復元画像と、第１復元画像を生成した際に利用した複数の撮像画像のうちの最新撮像画像とを用いて、第２学習済みモデルを用いて再度、復元処理を実行して第２復元画像を生成する。その結果、第２復元画像に最新の周囲状況を反映させることができて、第２復元画像の画像品質の向上ができる。

本発明の実施形態にかかる周辺監視装置の上記復元処理部は、例えば、上記最新撮像画像に存在する上記汚れの大きさを示す汚れ情報を取得し、上記汚れ情報が示す汚れの大きさが、所定の閾値以上の場合、復元処理を非実行としてもよい。この構成によれば、例えば、汚れの大きさが大きすぎる場合、汚れで隠蔽された領域が復元しきれない、不正確な復元画像を提供してしまうことを回避することができる。

本発明の実施形態にかかる周辺監視装置の上記復元処理部は、例えば、上記取得部が上記撮像画像を取得したときの上記車両の速度情報を取得し、上記速度情報の示す車速に応じて、上記閾値を変更してもよい。この構成によれば、例えば、汚れの大きさが大きい場合でも車両の移動速度が高い場合、時系列的に遡った過去画像に最新撮像画像において汚れで隠蔽されている領域が写っている可能性が増加する。逆に、汚れの大きさが小さい場合でも車両の移動速度が低い場合、時系列的に遡った過去画像を参照しても最新撮像画像において汚れで隠蔽されている領域が隠蔽されたままの可能性が増加する。したがって、車速に応じて、閾値を変更することで、復元処理の実行の可否をより適切に判定することができる。

図１は、実施形態にかかる周辺監視装置を搭載可能な車両の一例を示す模式的な平面図である。 図２は、実施形態にかかる周辺監視装置を含む車両制御システムの構成の例示的なブロック図である。 図３は、実施形態にかかる周辺監視装置（周辺監視部）をＣＰＵで実現する場合の構成を例示的に示すブロック図である。 図４は、実施形態にかかる周辺監視装置における第１学習済みモデルの学習イメージを示す例示的かつ模式的な説明図である。 図５は、実施形態にかかる周辺監視装置における第２学習済みモデルの学習イメージを示す例示的かつ模式的な説明図である。 図６は、実施形態にかかる周辺監視装置において復元画像を生成する復元処理のイメージを示す例示的かつ模式的な説明図である。 図７は、実施形態にかかる周辺監視装置における、復元画像の復元処理の流れの一例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態の周辺監視装置は、例えば、車両に搭載された撮像部のレンズに汚れが付着して、撮像画像に汚れが写り込んでいた場合、この汚れを取り除いたかのような画像、つまり汚れが存在しない状態を復元した復元画像を生成する。そして、復元画像を用いることで、周辺監視装置における周辺監視機能を向上する。

図１は、本実施形態の周辺監視装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、例えば、車両１０の外周部に配置される撮像部１４（１４ａ～１４ｄ）の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４（１４ａ～１４ｄ）は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す駐車枠、車線分離線等）や物体（障害物として、例えば、歩行者、他車両等）を含む車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。

撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｂの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｂ）を含む後方領域を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。

例えば、撮像部１４ａ～１４ｄで得られた各撮像画像データは、それぞれ演算処理や画像処理を実行することで、車両１０の周囲それぞれの方向における画像を表示したり周辺監視を実行したりすることができる。また、各撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成して表示したり、周辺監視を実行したりすることができる。

各撮像部１４で撮像された撮像画像データは、上述したように、車両１０の周囲の状況を運転者等の利用者に提供するために、車室内の表示装置に表示される。また、撮像画像データは、各種検出や検知を行う処理装置（処理部）に提供され、車両１０を制御するために利用することができる。

図２は、車両１０に搭載される周辺監視装置を含む車両制御システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。使用者（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、利用者は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の例えば中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図２に例示されるように、車両制御システム１００（周辺監視装置を含む）は、撮像部１４（１４ａ～１４ｄ）やモニタ装置２２に加え、ＥＣＵ２４（electronic control unit）、車輪速センサ２６、舵角センサ２８、情報取得部３０等が含まれる。車両制御システム１００において、ＥＣＵ２４やモニタ装置２２、車輪速センサ２６、舵角センサ２８、情報取得部３０等は、電気通信回線としての車内ネットワーク３２を介して電気的に接続されている。車内ネットワーク３２は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ２４は、車内ネットワーク３２を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク３２を介して、操作入力部２０や各種スイッチの操作信号等、車輪速センサ２６、舵角センサ２８等の各種センサの検出信号等、情報取得部３０が取得可能な位置情報等の情報を、受け取ることができる。なお、車内ネットワーク３２には、車両１０を走行させるための種々のシステム（操舵システム、ブレーキシステム、駆動システム等）や種々のセンサが接続されているが、図２において、本実施形態の周辺監視装置で必須ではない構成は図示を省略するとともに、その説明を省略する。

ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した周辺画像等や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（central processing unit）や、ＲＯＭ２４ｂ（read only memory）、ＲＡＭ２４ｃ（random access memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（solid state drive、フラッシュメモリ）等を有している。

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ、撮像画像を複製する際に利用する、予め複数のデータを用いて学習させた学習済みモデル等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａが復元画像の復元処理を実行する際のワークエリアとして使用されるとともに、ＣＰＵ２４ａでの演算で用いられる各種のデータ（撮像部１４で逐次（時系列的に）撮像される撮像画像データ等）の一時的な格納エリアとして利用される。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示される画像データの合成等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。

車輪速センサ２６は、車輪１２の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２６は、各車輪１２に配置され、各車輪１２で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２６は、例えば、ホール素子などを用いて構成されうる。ＣＰＵ２４ａは、車輪速センサ２６から取得した検出値に基づいて車両１０の車速や加速度等を演算し、各種制御を実行する。ＣＰＵ２４ａは、各車輪速センサ２６の検出値に基づいて車両１０の車速を算出する場合、四輪のうち最も小さな検出値の車輪１２の速度に基づき車両１０の車速を決定し、各種制御を実行する。なお、車輪速センサ２６は、図示を省略したブレーキシステムに設けられている場合もある。その場合、ＣＰＵ２４ａは、車輪速センサ２６の検出値をブレーキシステムを介して取得してもよい。

舵角センサ２８は、例えば、ステアリングホイール等の操舵部の操舵量を検出するセンサである。舵角センサ２８は、例えば、ホール素子などを用いて構成される。ＣＰＵ２４ａは、運転者による操舵部の操舵量や、例えば駐車支援を実行する際の自動操舵時の前輪１２Ｆの操舵量等を、舵角センサ２８から取得して各種制御を実行する。

情報取得部３０は、ＧＰＳ（Global Positioning System）とうから送信されるＧＰＳ信号を受信することで車両１０の現在の位置を取得したり、外部の情報センタ等が送信する気象情報等を取得したりすることが可能で、取得した情報を各種制御に利用する。なお、車両１０の位置情報や外部情報等は、モニタ装置２２がナビゲーションシステムを供える場合、ナビゲーションシステム側で取得してもよい。

本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、撮像部１４で撮像された撮像画像に汚れが存在する場合、その撮像画像から汚れを取り除いたかのような画像、つまり、汚れが存在しない状態を復元した「復元画像」の生成処理（復元処理）を司る。図３は、ＥＣＵ２４に含まれるＣＰＵ２４ａにおいて、実施形態にかかる周辺監視装置（周辺監視部３４）が実現される場合の構成を例示的に示すブロック図である。

周辺監視部３４は、撮像画像に存在する汚れを取り除いたかのような復元画像を生成する復元処理機能を実現するための各種モジュールを含む。例えば、周辺監視部３４は、受付部３６、画像取得部３８、汚れ情報取得部４０、速度取得部４２、復元処理部４４、報知部４６、出力部４８等を含む。これらのモジュールは、専用のハードウェアとして構成されてもよい。なお、後述するが復元処理部４４で実行するディープラーニング等を用いた処理では膨大な並列計算が必要とされため、例えばＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）等を活用してもよい。周辺監視部３４には、実際に周辺監視処理として、障害物検出や白線検出等を実行するためのモジュールが含まれるが、図３においては、復元処理に必要なモジュール以外は、図示を省略するとともに、その説明を省略する。また、復元処理部４４は、第１復元処理部４４ａ、第２復元処理部４４ｂ、復元実行判定部４４ｃ等の詳細モジュールを含み、復元実行判定部４４ｃは、さらに、閾値変更部４４ｃ１を含む。

ＲＯＭ２４ｂは、ＣＰＵ２４ａで実行される各種プログラムの他、予め機械学習によって構築された複数の学習済みモデルを格納する。ＲＯＭ２４ｂは、例えば、汚れ情報学習済みモデル格納部５０、第１学習済みモデル格納部５２、第２学習済みモデル格納部５４等を含む。汚れ情報学習済みモデル格納部５０は、撮像画像に汚れが存在するか否か、その撮像画像に汚れが存在する場合、汚れの位置や大きさ等の汚れ情報を取得する場合に利用する汚れ情報学習済みモデルを格納する。第１学習済みモデル格納部５２は、復元処理部４４で第１復元画像を生成する場合に利用する第１学習済みモデルを格納する。第２学習済みモデル格納部５４は、第１学習済みモデルを用いて復元する第１復元画像の精度をさらに向上する場合に利用する第２学習済みモデルを格納する。なお、ＲＯＭ２４ｂは、この他、復元処理部４４が復元処理を実行するか否かを判定する場合に参照する閾値を格納した閾値データ格納部５５を備える。また、ＲＡＭ２４ｃは、復元処理部４４で復元画像を生成する場合に利用する撮像画像として、時系列的に撮像された複数の撮像画像データを一時的に格納しておく、撮像画像格納部５６を含む。

汚れ情報学習済みモデル格納部５０に格納される汚れ情報学習済みモデルは、汚れ情報取得部４０で利用される、復元対象の撮像画像における汚れ（例えば、雨滴等）の存在する確率をピクセル毎に算出するためのモデルである。汚れ情報学習済みモデルを構築する場合、例えば、汚れなしを示す値を「０」とし、汚れありを示す値を「１」とする。そして、学習用画像のピクセル毎に汚れである確からしさを「０～１」の間の評価値で示す。この評価値を用いた学習用画像に基づいて、例えば、ディープラーニング等の機械学習手法によって学習させることで、汚れ情報学習済みモデルを構築する。したがって、撮像部１４で撮像した撮像画像（データ）を汚れ情報学習済みモデルに入力することで、評価値が「１」に近いピクセルの多さが判定され、汚れの位置や汚れの大きさ（領域の大きさ）が出力される。

第１学習済みモデル格納部５２に格納される第１学習済みモデルは、第１復元処理部４４ａで利用されるモデルである。第１学習済みモデルは、車両１０に備えられた撮像部１４で車両１０が移動している際に時系列的に撮像される複数の撮像画像のうち、最新撮像画像において汚れにより隠蔽された領域を復元させた第１復元画像を復元画像として生成する場合に利用される。第１学習済みモデルの構築概念を図４に示す。図４に示すように、第１学習済みモデル６４は、学習用汚れ６２（例えば、雨滴等）が存在しない第１学習用画像５８と、この第１学習用画像５８に学習用汚れ６２を存在させた、複数の第１学習用汚れ画像６０と、の関係を例えば、ディープラーニング等の機械学習手法によって学習させたモデルである。第１学習済みモデル６４を用いた復元処理の詳細は後述する。

第２学習済みモデル格納部５４に格納される第２学習済みモデルは、第２復元処理部４４ｂで利用されるモデルである。第２学習済みモデルは、第１学習済みモデル６４で生成した第１復元画像と、第１復元画像を生成する際に入力した複数の撮像画像のうち最新撮像画像とに基づいて、より復元精度の高い第２復元画像を復元画像として復元する際に利用される。第２学習済みモデルの構築概念を図５に示す。図５に示すように、第２学習済みモデル７４は、第１学習済みモデル６４に、学習用汚れが存在する、複数の第２学習用汚れ画像６６を入力して生成した復元画像６８（第１復元画像）と、当該復元画像６８を復元する際に利用した複数の第２学習用汚れ画像６６のうち最新の最新学習用汚れ画像６６ａとの関係を、例えば、ディープラーニング等の機械学習手法によって学習させたモデルである。第２学習済みモデル７４は、第１学習済みモデル６４によって生成される復元画像６８において発生する、ぼやけや不連続等の不自然領域７０を最新学習用汚れ画像６６ａで汚れ７２の存在しない鮮明部分（エッジがきれいに出ている部分）の情報を用いて復元するものである。第２学習済みモデル７４を用いた復元処理の詳細は後述する。

図３に戻り、受付部３６は、復元画像の生成が要求される場合の要求信号を受け付ける。復元画像の生成は、例えば、車両１０の走行中、撮像画像に汚れが検出された場合に自動的に実行されてもよい（自動復元モード）。また、車両１０の利用者（例えば、運転者）が操作入力部２０等を介して希望するタイミング（例えば、表示装置１６に表示されている画像が汚れで見にくくなった場合等）に復元画像の生成を手動で実行させてもよい（手動復元モード）。受付部３６は、復元画像の生成が自動的に要求される場合は、周辺監視部３４側からの要求信号を受付け、復元画像の生成が手動で要求される場合は、操作入力部２０等からの操作信号を車内ネットワーク３２を介して受け付ける。

画像取得部３８は、各撮像部１４で撮像された撮像画像データをフレーム毎に取得し、ＲＡＭ２４ｃの撮像画像格納部５６に格納する。画像取得部３８は、車両１０（ＥＣＵ２４）の電源がＯＮの場合に撮像部１４で撮像される撮像画像データを逐次取得することができる。画像取得部３８は、各撮像部１４（１４ａ～１４ｄ）が撮像した撮像画像データを撮像部１４毎に識別して取得し、撮像画像格納部５６に格納する。したがって、撮像画像格納部５６には、各撮像部１４毎に時系列的に連続するフレームデータとして撮像画像データが格納される。撮像画像格納部５６は、一定期間、例えば、３～５秒分の撮像画像データが格納可能で、逐次新しい撮像画像データを上書する。したがって、撮像画像格納部５６は、最新撮像画像および最新撮像画像から時系列的に所定期間遡った複数の過去画像を復元処理部４４に提供することができる。また、撮像画像格納部５６が、撮像画像データを一定期間格納する場合の別の例として、例えば、撮像画像格納部５６は、車両１０が一定距離走行する間の撮像画像データを格納するようにしてもよい。

汚れ情報取得部４０は、撮像画像に汚れが存在するか否か、および汚れが存在する場合は、その汚れの位置や大きさを、ＲＯＭ２４ｂの汚れ情報学習済みモデル格納部５０から読み出した汚れ情報学習済みモデルに撮像画像を入力することで取得する。汚れ情報取得部４０は、取得した汚れ情報を逐次復元処理部４４に提供する。汚れが、例えば、泥はねや埃の付着の場合、車両１０が走行する場合でも撮像部１４のレンズ上で移動する可能性は低い。一方、汚れが雨滴等のように容易に移動したり変形したりするものの場合、車両１０の走行時に受ける風圧等により撮像部１４のレンズ上で汚れが移動したり、大きさが変化したりする可能性がある。そのため、汚れ情報取得部４０は、少なくとも復元処理部４４が復元処理を実行している間は、撮像画像毎に汚れ情報の取得を逐次実行する。

速度取得部４２は、車輪速センサ２６の検出値に基づき、車両１０の現在の車速や加速度を取得する。速度取得部４２は、車両１０の車速を復元処理部４４に提供し、復元処理部４４において、復元処理を実行するか否かを判定する場合に利用される。

復元処理部４４は、復元対象の撮像画像の復元を行う場合、第１復元処理部４４ａと第２復元処理部４４ｂとを用いた二段階処理を実行する。図６は、復元処理部４４において第１復元処理部４４ａと第２復元処理部４４ｂとを用いて二段階で復元処理を実行する場合にイメージを示す例示的かつ模式的な説明図である。なお、図６は、復元対象の撮像画像として、撮像部１４のうち撮像部１４ｂで撮像した後方画像を復元する場合を一例として示している。

まず、第１復元処理部４４ａは、撮像部１４（撮像部１４ｂ）で逐次撮像され、ＲＡＭ２４ｃの撮像画像格納部５６に時系列的に格納された複数の撮像画像７６を第１学習済みモデル６４に入力する。この場合、撮像画像７６に存在する汚れ７８（例えば、雨滴）の位置や大きさに関する汚れ情報は、汚れ情報取得部４０から提供される汚れ情報に基づいて認識可能であり、第１学習済みモデル６４では、汚れ７８の存在する可能性の高い領域に対して復元処理が順次実行されることになる。この場合、復元処理は、時系列的な複数の撮像画像７６のうち最新の最新撮像画像７６ａに対して実行される。このとき、走行する車両１０の撮像部１４で撮像された、最新撮像画像７６ａより時系列的に過去の過去画像７６ｂには、最新撮像画像７６ａ上に存在する汚れ７８で隠蔽された領域が、汚れ７８で隠蔽されることなく写っている可能性がある。したがって、第１学習済みモデル６４は、複数の過去画像７６ｂの情報が入力されることにより、汚れ７８で隠蔽された領域が高確率で復元された第１復元画像８０の生成が可能となり、復元画像の品質を向上することができる。

ところで、第１学習済みモデル６４は、前述したように、最新撮像画像７６ａに加え複数の過去画像７６ｂを用いて第１復元画像８０を生成するため、汚れ７８が存在しない領域にも復元処理の影響がでて、第１復元画像８０において、ぼやけたり、不連続になったりする不自然領域８２が生じる場合がある。そこで、第２復元処理部４４ｂは、第１学習済みモデル６４によって生成された第１復元画像８０と、この第１復元画像８０を生成する際の使用した複数の撮像画像７６のうち最新撮像画像７６ａとを第２学習済みモデル７４に入力して第２復元画像８４を生成する。この場合、第２復元画像８４の復元の際に第１復元画像８０に対して最もエッジが際立っている可能性の高い最新撮像画像７６ａを考慮させることにより、不自然領域８２を修正したより鮮明な第２復元画像８４を復元画像として生成することができる。

図３に戻り、復元処理部４４は、復元実行判定部４４ｃを備える。復元処理部４４は、上述したように、最新撮像画像７６ａおよび過去画像７６ｂを含む複数の撮像画像７６を用いて復元処理を実行する。この場合、復元処理に利用できる過去画像７６ｂは、最新撮像画像７６ａに写っているものが含まれるものに限られる。車両１０が走行している場合、例えば、数秒前までに撮像された過去画像７６ｂに限られる。このように、利用できる過去画像７６ｂに制限がある状況では、最新撮像画像７６ａに存在する汚れ７８が大きい場合、最新撮像画像７６ａおよび過去画像７６ｂからなる複数の撮像画像７６を用いて復元処理を実行しても十分な復元ができない場合がある。例えば、汚れ７８が、所定の閾値で示す大きさを超えている場合、過去画像７６ｂにおいても汚れ７８で隠蔽され続いている物体が存在する可能がある。このような場合、最新撮像画像７６ａにおいて汚れ７８が隠蔽している領域を十分に復元することができないため、復元処理部４４による復元処理の実行は望ましくない。そこで、復元実行判定部４４ｃは、復元条件が満たされない場合、復元処理を非実行としている。復元実行判定部４４ｃは、汚れ情報取得部４０が取得する汚れ情報に含まれる最新撮像画像７６ａの汚れの大きさと、所定の閾値と、の比較を行い、汚れの大きさが閾値以上の場合、十分な汚れ部分の復元が不可能であると判定し、第１復元処理部４４ａ、第２復元処理部４４ｂにおける復元処理を非実行とする。

なお、この場合、閾値は一定値としてもよいが、車両１０の速度によって、復元ができる場合とできない場合が生じることがある。例えば、汚れ７８の大きさが大きい場合でも車両１０の移動速度が高い場合、最新撮像画像７６ａで隠蔽の原因になっている汚れ７８が、過去画像７６ｂでは最新撮像画像７６ａの隠蔽領域から離れた位置を隠蔽している可能性が高くなる。つまり、車両１０の移動量が大きい場合、時系列的に遡った過去画像７６ｂに、最新撮像画像７６ａにおいて汚れ７８で隠蔽されている領域が写っている可能性が増加する。逆に、汚れ７８の大きさが小さい場合でも車両１０の移動速度が低い場合、最新撮像画像７６ａと過去画像７６ｂとで汚れ７８の移動量が小さい。そのため、時系列的に遡った過去画像７６ｂを参照しても最新撮像画像７６ａにおいて汚れ７８で隠蔽されている領域が隠蔽されたままの可能性が増加する。したがって、閾値変更部４４ｃ１は、車両１０の車速と汚れ７８との大きさに応じて、復元の可否を判定する場合の閾値を変更する。閾値変更部４４ｃ１は、車両１０の車速と汚れ７８の大きさと閾値とを関連付けた閾値マップをＲＯＭ２４ｂの閾値データ格納部５５から読み出す。そして、閾値変更部４４ｃ１は、第１復元処理部４４ａ、第２復元処理部４４ｂにおける復元処理実行時に、速度取得部４２から車両１０の現在の車速を取得するとともに、汚れ情報取得部４０が取得した汚れ情報から汚れ７８の大きさを取得して、閾値マップを参照する。そして、閾値変更部４４ｃ１は、現在の状況において復元の可否を判定するための最も適した閾値を決定（変更）して、第１復元処理部４４ａ、第２復元処理部４４ｂに提供する。第１復元処理部４４ａ、第２復元処理部４４ｂでは、提供された閾値に基づき復元処理を実行するか否かの判定を行う。

報知部４６は、復元処理が実行されている場合に、復元中であること利用者（例えば、運転者）に報知する。前述したように、復元処理は、自動復元モードで実施される場合と、手動復元モードで実施される場合がある。特に、自動復元モードで復元画像が生成されている場合、利用者が気づかないうちに、復元画像が表示装置１６に表示されていたり、障害物検出等の周辺監視に利用されていたりする場合がある。したがって、復元画像の表示や復元画像に基づく制御が実行されていることを利用者に報知することで、復元画像を利用しつつも利用者に周辺確認の必要性を意識させて、復元画像を利用する場合の利用者の安心感の向上を行う。報知は、例えば、表示装置１６上に文字メッセージやアイコン表示等で行ったり、表示装置１６の表示態様（背景色や枠色の変更等）を復元処理の非実行時と異ならせたりすることで行うことができる。また、音声出力装置１８を用いて音声報知を組み合わせて行ってもよい。なお、音声報知を行う場合は、過剰報知にならないように音声報知の回数を制限したり、徐々に音量を下げたりすることが望ましい。手動復元モードの場合、利用者は、復元処理の実行を認識しているので、基本的には、報知部４６による報知は不要であるが、自動復元モード時と同様に報知を実行してもよい。

出力部４８は、復元処理部４４で生成された復元画像を表示制御部２４ｄに出力し、表示装置１６で表示させたり、他のモジュール、例えば、障害物検出モジュールや白線検出モジュール等に復元画像（データ）を提供し、それぞれの検出処理を実行させたりする。

なお、図３に示すブロック図は、機能毎に分類したモジュールで記載しているが、各機能を適宜統合したり、分割したりしてもよい。例えば、第１復元処理部４４ａと第２復元処理部４４ｂの機能を一つの復元処理部で実行してもよい。

以上のように構成される周辺監視装置（周辺監視部３４）による撮像画像の復元処理の流れの一例を図７のフローチャートを用いて説明する。なお、図７のフローチャートでは、復元する撮像画像として、例えば、撮像部１４ｂが撮像した後方画像が選択されているものとする。

まず、車両１０（ＥＣＵ２４）の電源がＯＮされると、画像取得部３８は、撮像部１４を動作させ撮像画像の取得を開始し（Ｓ１００）、逐次ＲＡＭ２４ｃの撮像画像格納部５６の格納して行く。そして、汚れ情報取得部４０は、撮像部１４で撮像された撮像画像に対して、汚れ情報の取得を開始する（Ｓ１０２）。すなわち、撮像画像を、汚れ情報学習済みモデル格納部５０から呼び出した汚れ情報学習済みモデルに順次入力して、汚れの有無および汚れが存在する場合、その汚れの大きさと位置を示す汚れ情報を取得する。

続いて、受付部３６は、復元要求信号を受け付けているか否か確認する（Ｓ１０４のＮｏ）。受付部３６は、例えば、利用者が操作入力部２０等を介して復元画像の生成を要求した場合、または汚れ情報取得部４０が取得した汚れ情報に基づき汚れを検出した場合に、復元要求信号を受け付ける（Ｓ１０４のＹｅｓ）。速度取得部４２は、受付部３６が復元要求信号を受け付けると、現在の車両１０の車速の取得を開始する（Ｓ１０６）。そして、復元実行判定部４４ｃは、現在の状況において、撮像画像を復元する復元開始条件が成立しているか否か判定する（Ｓ１０８）。具体的には、閾値変更部４４ｃ１は、汚れの大きさおよび車両１０の車速に基づき、汚れによって隠蔽された領域の復元が可能か否かを判定する閾値を決定（変更）する。復元実行判定部４４ｃは、復元対象の撮像画像の汚れの大きさが閾値変更部４４ｃ１で決定（変更）された閾値未満の場合、復元開始条件が成立したと判定し（Ｓ１０８のＹｅｓ）、報知部４６は、復元処理が手動復元モードで要求されたか否か判定する（Ｓ１１０）。復元処理が自動復元モードで要求された場合（Ｓ１１０のＮｏ）、報知部４６は、復元処理が自動で行われていることを利用者に報知する自動復元報知を実行する（Ｓ１１２）。例えば、表示装置１６上で復元画像の表示を行うことを示すメッセージをＲＯＭ２４ｂ等から読み出す。また、障害物検出モジュールや白線検出モジュール等に提供する復元実行フラグをＯＮする。

続いて、復元処理部４４は、ＲＡＭ２４ｃの撮像画像格納部５６に格納した時系列の撮像画像から現時点における最新撮像画像７６ａおよび過去画像７６ｂを含む時系列の複数の撮像画像７６を取得する（Ｓ１１４）。続いて、復元実行判定部４４ｃは最新撮像画像７６ａにおける汚れ７８の大きさを汚れ情報取得部４０から取得するとともに（Ｓ１１６）、速度取得部４２から現在の車両１０の車速を取得する（Ｓ１１８）。そして、閾値変更部４４ｃ１は、閾値データ格納部５５から読み出した閾値マップを参照して、最新撮像画像７６ａの汚れ７８で隠蔽された領域の復元が可能か否かを判定するための閾値を汚れ７８の大きさおよび車速に基づき変更する（Ｓ１２０）。そして、復元実行判定部４４ｃが最新撮像画像７６ａの復元が可能であると判定した場合（Ｓ１２２のＹｅｓ）、つまり、復元条件が成立している場合、復元処理部４４は、復元処理を実行する（Ｓ１２４）、つまり、第１復元処理部４４ａは、最新撮像画像７６ａおよび過去画像７６ｂからなる時系列的に撮像された撮像画像７６を、第１学習済みモデル格納部５２から読み出した第１学習済みモデル６４に入力し、第１復元画像８０を生成する。続いて、第２復元処理部４４ｂは、生成された第１復元画像８０と第１復元画像８０を生成する場合に用いた最新撮像画像７６ａとを、第２学習済みモデル格納部５４から読み出した第２学習済みモデル７４に入力し、第２復元画像８４を生成する。そして、出力部４８は、生成された第２復元画像８４を表示装置１６で表示する場合は、表示制御部２４ｄに出力する。また、障害物検出処理や白線検出処理が実行中の場合は、障害物検出モジュールや白線検出モジュール等に第２復元画像８４（復元画像データ）を出力する（Ｓ１２６）。

そして、復元実行判定部４４ｃは、受付部３６が復元処理の終了を示す終了要求信号を受け取ったり、車両１０（ＥＣＵ２４）の電源がＯＦＦされたりする、復元終了条件が成立しているか否か確認する（Ｓ１２８）。復元終了条件が成立している場合（Ｓ１２８のＹｓｅ）、このフローを終了する。なお、この場合、周辺監視部３４は、撮像部１４で撮像した未復元の撮像画像を表示装置１６に表示するようにするとともに、障害物検出モジュールや白線検出モジュール等に未復元の撮像画像データを提供する旨の通知（復元フラグのＯＦＦ）を行う。また、復元終了条件が成立していない場合（Ｓ１２８のＮｏ）、Ｓ１１４に移行し、復元処理部４４のよる復元処理を継続する。

また、Ｓ１２２において、汚れ７８の大きさの変化や車速の変化により、最新撮像画像７６ａの汚れ７８で隠蔽された領域の復元が十分に実行できないと判定された場合（Ｓ１２２のＮｏ）、つまり、復元条件が不成立となって場合、復元不可であることを示すメッセージを表示装置１６等を介して報知し（Ｓ１３０）、一旦このフローを終了する。また、Ｓ１０８において、復元開始条件が成立しない場合（Ｓ１０８のＮｏ）、Ｓ１３０に移行して、復元不可報知を行い、このフローを一旦終了する。なお、図７に示すフローチャートは，一例であり、同様な撮像画像における汚れに隠蔽され領域の復元ができれば、処理の順番や内容を変更してもよい。

このように本実施形態の周辺監視装置（周辺監視部３４）によれば、車両の移動中に撮像された時系列的な複数の撮像画像を学習済みモデルに入力して、復元画像を生成するので、より実世界の環境状況に近い復元画像が提供できる。その結果、周辺監視のための提供情報の品質向上、周辺監視精度の向上が図れる。

なお、上述した実施形態では、復元処理の実行の可否を汚れ７８の大きさと車両１０の車速により決定（変更）される閾値に基づいて判定したが、例えば、車両１０の操舵角や加速度等を考慮して閾値を変更してもよい。例えば、舵角センサ２８の検出値に基づき、車両１０が方向を大きく変えていることが検出された場合を考える。この場合、汚れの大きさが大きい場合や車速が遅い場合でも、最新撮像画像７６ａで汚れ７８により隠蔽されている領域でも時系列的に遡った過去画像７６ｂでは、汚れ７８で隠蔽されていな可能性が高まる。車両１０が加速された場合も同様である。したがって、舵角情報や加速度情報を用いることにより、閾値の最適化が可能になり、より適切に復元処理を実行することができる。また、情報取得部３０から取得可能な車両１０の位置情報や車両１０が存在する場所の天候情報を考慮して閾値を変更してもよい。例えば、激しい雨天で、撮像画像７６上の雨滴の数が極端に多いと判定される場合、各汚れ（雨滴）の大きさが小さい場合でも、復元処理を非実行とするように閾値を変更してもよい。

また、上述した実施形態では、例えば、後方画像について、汚れが存在しないかのように復元した例を示したが、他の撮像画像、例えば、前方画像、右側方画像、左側方画像についても、同様な処理により復元処理を実行することが可能で、同様の効果を得ることができる。また、俯瞰画像等の合成画像に対しても本実施形態の復元処理が適用可能であり、同様の効果を得ることができる。この場合、復元対象の撮像画像や合成画像は、操作入力部２０等により指定するようにしてもよいし、表示装置１６に表示する画像や周辺監視で用いる画像データに応じて自動的に選択されるようにしてもよい。

本実施形態の周辺監視部３４（ＣＰＵ２４ａ）で実行される復元処理のための周辺監視プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、周辺監視プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される周辺監視プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…車両、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ…撮像部、１６…表示装置、２４…ＥＣＵ、２４ａ…ＣＰＵ、２４ｂ…ＲＯＭ、２４ｃ…ＲＡＭ、２６…車輪速センサ、２８…舵角センサ、３０…情報取得部、３４…周辺監視部、３６…受付部、３８…画像取得部、４０…汚れ情報取得部、４２…速度取得部、４４…復元処理部、４４ａ…第１復元処理部、４４ｂ…第２復元処理部、４４ｃ…復元実行判定部、４４ｃ１…閾値変更部、４６…報知部、４８…出力部、５０…汚れ情報学習済みモデル格納部、５２…第１学習済みモデル格納部、５４…第２学習済みモデル格納部、５５…閾値データ格納部、５６…撮像画像格納部、５８…第１学習用画像、６０…第１学習用汚れ画像、６２…学習用汚れ、６４…第１学習済みモデル、６６…第２学習用汚れ画像、６６ａ…最新学習用汚れ画像、６８…復元画像、７０，８２…不自然領域、７２，７８…汚れ、７４…第２学習済みモデル、７６…撮像画像、７６ａ…最新撮像画像、７６ｂ…過去画像、８０…第１復元画像、８４…第２復元画像。

Claims (4)

1. 車両に備えられて前記車両の周囲を撮像可能な撮像部で前記車両が移動している際に時系列的に撮像される複数の撮像画像を取得する取得部と、
   前記複数の撮像画像のうち最新の最新撮像画像に汚れが存在する場合に、学習用汚れが存在しない第１の学習用画像と、当該第１の学習用画像に前記学習用汚れが存在する、複数の第１の学習用汚れ画像と、の関係を機械学習した結果としての第１の学習済みモデルに、前記取得部によって時系列的に撮像された前記複数の撮像画像を入力して、第１復元画像を前記最新撮像画像において前記汚れにより隠蔽された領域を復元させた復元画像として生成する復元処理部と、
   を備える、周辺監視装置。
2. 前記復元処理部は、前記第１の学習済みモデルに、前記学習用汚れが存在する、複数の第２の学習用汚れ画像を入力して生成した前記復元画像と、当該復元画像を復元する際に利用した複数の前記第２の学習用汚れ画像のうち最新の最新学習用汚れ画像との関係を、機械学習した結果としての第２の学習済みモデルに、前記第１復元画像と、前記最新撮像画像とを入力して、第２復元画像を前記復元画像として復元する、請求項１に記載の周辺監視装置。
3. 前記復元処理部は、前記最新撮像画像に存在する前記汚れの大きさを示す汚れ情報を取得し、前記汚れ情報が示す汚れの大きさが、所定の閾値以上の場合、復元処理を非実行とする、請求項１または請求項２に記載の周辺監視装置。
4. 前記復元処理部は、前記取得部が前記撮像画像を取得したときの前記車両の速度情報を取得し、前記速度情報の示す車速に応じて、前記閾値を変更する、請求項３に記載の周辺監視装置。

Images