JP2023111192A - 画像処理装置、移動体制御装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】より適切な画像処理を行うこと。
【解決手段】実施形態の画像処理装置は、移動体に搭載された撮像部により時系列に撮像された第１画像を取得する取得部と、前記第１画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定する設定部と、前記設定部により設定された着目位置に基づいて設定される部分画像を第２画像に変換する変換部と、前記変換部により変換された第２画像に基づいて前記移動体の周囲の物標を検出する物標検出部と、を備え、前記設定部は、前記物標検出部による検出結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する。
【選択図】図１

Description

本発明は、画像処理装置、移動体制御装置、画像処理方法、およびプログラムに関する。

従来より、車両に搭載されたカメラで撮像された画像を用いて車両の周囲を認識し、認識結果を運転支援等の制御に利用する技術が知られている。また従来では、周囲の検出範囲を広げるために、魚眼レンズを用いた魚眼カメラを用いる技術が知られている（例えば、特許文献１参照）。

特開２０２１－００４０１７号公報

しかしながら、従来技術では、魚眼カメラにより撮像された画像は、魚眼レンズ等の影響により歪みが大きく、撮像画像のままでは画像中の物標の形状や大きさ等を高精度に認識できない場合があった。また、魚眼カメラにより撮像された画像に歪み補正を行って物体認識に用いる場合も考えられるが、撮影される画像範囲が広範囲であるため画像処理の負荷が大きくなり、周辺の物標を迅速に検出する必要がある状況下において魚眼カメラの画像が適切でないに適さない場合があった。

本発明の態様は、このような事情を考慮してなされたものであり、カメラ画像に対して、より適切な画像処理を行うことができる画像処理装置、移動体制御装置、画像処理方法、およびプログラムを提供することを目的の一つとする。

この発明に係る画像処理装置、移動体制御装置、画像処理方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る画像処理装置は、移動体に搭載された撮像部により時系列に撮像された第１画像を取得する取得部と、前記第１画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定する設定部と、前記設定部により設定された着目位置に基づいて設定される部分画像を第２画像に変換する変換部と、前記変換部により変換された第２画像に基づいて前記移動体の周囲の物標を検出する物標検出部と、を備え、前記設定部は、前記物標検出部による検出結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、画像処理装置である。

（２）：上記（１）の態様において、前記設定部は、前記撮像部により撮像された過去の第１画像に基づく前記第２画像に所定の物標が検出されてない場合に、前記着目位置を、前記第２画像から物標が検出された場合の着目位置よりも所定距離以上遠方の位置に変更するものである。

（３）：上記（１）または（２）の態様において、前記設定部は、前記撮像部により撮像された過去の第１画像に基づく前記第２画像に所定の物標が検出された場合に、前記着目位置を変更しないものである。

（４）：上記（３）の態様において、前記所定の物標は、前記移動体に対向して走行する対向移動体を含むものである。

（５）：上記（１）～（４）のうち何れか一つの態様において、前記設定部は、前記移動体の角速度が所定角度以上である場合に、前記着目位置を、前記角速度に応じて水平方向に移動させるものである。

（６）：上記（２）の態様において、前記所定距離以上遠方の位置は、前記移動体が走行するレーンに隣接するレーンから所定距離以内の位置を含むものである。

（７）：上記（２）の態様において、前記所定距離以上遠方の位置は、前記物標検出部によって検出可能なレーンのうち、前記移動体から最も遠いレーンから所定距離以内の位置を含むものである。

（８）：上記（１）～（７）のうち何れか一つの態様において、前記物標は、前記移動体が走行中のレーンを逸脱する可能性がある物標である。

（９）：この発明の一態様に係る移動体制御装置は、請求項１から請求項８のうち何れか１項に記載された画像処理装置と、前記画像処理装置による処理結果に基づいて、前記移動体の操舵または速度のうち、一方または双方を制御する運転制御部と、を備える、移動体制御装置である。

（１０）：この発明の一態様に係る移動体制御方法は、コンピュータが、移動体に搭載された撮像部により時系列に撮像された第１画像を取得し、前記第１画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定し、設定された前記着目位置に基づいて設定される部分画像を第２画像に変換し、変換された前記第２画像に基づいて前記移動体の周囲の物標を検出し、検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、画像処理方法である。

（１１）：この発明の一態様に係るプログラムは、コンピュータに、移動体に搭載された撮像部により時系列に撮像された第１画像を取得させ、前記第１画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定させ、設定された前記着目位置に基づいて設定される部分画像を第２画像に変換させ、変換された前記第２画像に基づいて前記移動体の周囲の物標を検出させ、検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更させる、プログラムである。

上記（１）～（１１）の態様によれば、より適切な移動体制御を行うことができる。

実施形態に係る画像処理装置を含む車両システム１の構成図である。 カメラ１０の撮像範囲について説明するための図である。 画像処理部１２０の機能について説明するための図である。 着目位置を変更することについて説明するための図である。 対向車両が検出された場合の変換中心位置の設定について説明するための図である。 車両制御装置１００よって実行される処理の流れの一例を示すフローチャートである。 実施形態に係る画像処理の流れの一例を示すフローチャートである。 着目位置の設定処理の一例を示すフローチャートである。

以下、図面を参照し、本発明の画像処理装置、移動体制御装置、画像処理方法、およびプログラムの実施形態について説明する。なお、以下の説明では、画像処理装置が、移動体に搭載されている例について説明する。移動体とは、例えば、車両、マイクロモビリティ、自律移動ロボット、船舶、ドローンなど、自身が備える駆動機構によって移動可能な構造体をいう。以下の説明では、移動体は地上を移動する車両であることを前提とし、専ら車両に地上を移動させるための構成および機能について説明する。「移動体を制御する」とは、例えば、手動運転を主として、音声や表示等によって運転操作にアドバイスを行ったり、ある程度の干渉制御を行うことを意味する。また、移動体を制御することには、少なくとも一時的に、移動体の操舵または速度のうち一方または双方を制御して、移動体を自律的に移動させることが含まれたり、移動体の乗員を保護する保護装置の作動を制御することが含まれてよい。

［全体構成］
図１は、実施形態に係る画像処理装置を含む車両システム１の構成図である。車両システム１が搭載される車両（以下、自車両Ｍ）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、運転操作子８０と、車両制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。カメラ１０は、「撮像部（画像センサ）」の一例である。ＨＭＩ３０は、「出力部」の一例である。車両制御装置１００は「移動体制御装置」の一例である。

カメラ１０は、自車両Ｍの周辺を撮像する。カメラ１０は、例えば、自車両Ｍの周辺を広角に（例えば３６０度で）撮像可能なカメラである。また、カメラ１０は、例えば、広画角レンズや魚眼レンズが設けられたカメラであり、いわゆる広画角カメラまたは魚眼カメラ）と称される。カメラ１０は、例えば、移動体Ｍの上部に取り付けられ、移動体Ｍの周辺を水平方向に関して広角に撮像する。カメラ１０は、複数のカメラ（水平方向に関して約６０～１８０度程度の範囲を撮像する複数のカメラ）を組み合わせて実現されてもよく、標準カメラを有してもよい。

図２は、カメラ１０の撮像範囲について説明するための図である。図２の例では、自車両Ｍの前後左右に取り付けられた魚眼カメラと、自車両Ｍの前方を撮影するための任意の位置（例えば、自車両Ｍの前部中央）に取り付けられた標準カメラとにおける水平方向の撮像範囲を示している。自車両Ｍの前方に取り付けられた魚眼カメラは、例えば、撮像範囲ＩＲ１に含まれる風景を撮影する。撮像範囲ＩＲ１の中心Ｃ１は、自車両Ｍの真正面を向いている。自車両Ｍの右側に取り付けられた魚眼カメラは、撮像範囲ＩＲ２に含まれる風景を撮影する。撮像範囲ＩＲ２の中心Ｃ２は、自車両Ｍの右方の真横を向いている。自車両Ｍの後方に取り付けられた魚眼カメラは、撮像範囲ＩＲ３に含まれる風景を撮影する。撮像範囲ＩＲ３の中心Ｃ３は、自車両Ｍの真後ろを向いている。自車両Ｍの左側に取り付けられた魚眼カメラは、撮像範囲ＩＲ４に含まれる風景を撮影する。撮像範囲ＩＲ４の中心Ｃ４は、自車両Ｍの左方の真横を向いている。図２の例において各魚眼カメラの水平方向の画角は、約１８０度であるがこれに限定されない。標準カメラは、撮像範囲ＩＲ５に含まれる風景を撮影する。撮像範囲ＩＲ５の中心２００Ｃは、自車両Ｍの真正面を向いている。標準カメラの水平方向の画角は、約３０度程度であるがこれに限定されない。

自車両Ｍは、上述のカメラ１０に加えて、物標を検出するレーダ装置やＬＩＤＡＲ（Light Detection and Ranging）、ソナー等を備えていてもよい。カメラ１０、レーダ装置、ＬＩＤＡＲ、およびソナーは、自車両Ｍの周辺状況を認識する外界センサの一例である。カメラ１０によって周期的に繰り返し自車両Ｍの周辺を撮像することで、時系列の画像が撮像される。カメラ１０によって時系列に撮像された複数の画像フレームを含む画像データは、車両制御装置１００に出力される。

ＨＭＩ３０は、ＨＭＩ制御部１８０の制御により自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、例えば、各種表示装置、スピーカ、スイッチ、マイク、ブザー、タッチパネル、キー等を含む。各種表示装置は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。表示装置は、例えば、インストルメントパネルにおける運転席（ステアリングホイールに最も近い座席）の正面付近に設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な位置に設置される。また、表示装置は、インストルメントパネルの中央に設置されてもよい。また、表示装置は、ＨＵＤ（Head Up Display）であってもよい。ＨＵＤは、運転席前方のフロントウインドシールドの一部に画像を投影することで、運転席に着座した乗員の眼に虚像を視認させる。表示装置は、後述するＨＭＩ制御部１８０によって生成される画像を表示する。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。また、車両センサ４０には、自車両Ｍの操舵角（操舵輪の角度でもよいし、ステアリングホイールの操作角度でもよい）を検出する操舵角センサが含まれてよい。また、車両センサ４０には、自車両Ｍの位置を取得する位置センサが含まれてよい。位置センサは、例えば、ＧＰＳ（Global Positioning System）装置から位置情報（経度・緯度情報）を取得するセンサである。また、位置センサは、例えば、自車両Ｍに搭載されるナビゲーション装置（不図示）のＧＮＳＳ（Global Navigation Satellite System）受信機を用いて位置情報を取得するセンサであってもよい。

運転操作子８０は、例えば、ステアリングホイール、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。操作子は、必ずしも環状である必要は無く、異形ステアリングホイールやジョイスティック、ボタン等の形態であってもよい。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、車両制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

車両制御装置１００は、例えば、画像処理部１２０と、判定部１４０と、運転制御部１６０と、ＨＭＩ制御部１８０と、記憶部１９０とを備える。画像処理部１２０と、運転制御部１６０と、ＨＭＩ制御部１８０とは、それぞれ、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め車両制御装置１００のＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで車両制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。画像処理部１２０は、「画像処理装置」の一例である。ＨＭＩ制御部１８０は、「出力制御部」の一例である。

記憶部１９０は、上記の各種記憶装置、或いはＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。記憶部１９０は、例えば、カメラ１０により撮像された画像（時系列周辺画像）、地図情報、プログラム、その他の各種情報等が格納される。地図情報は、例えば、道路形状（道路幅、曲率、勾配）や車線数、交差点、車線（レーン）の中央の情報あるいは車線の境界（区画線）の情報等を含んでいてもよい。また、地図情報は、ＰＯＩ（Point Of Interest）情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報等を含んでいてもよい。

画像処理部１２０は、カメラ１０により撮像された画像（以下、カメラ画像を称する）に対して所定の画像処理等を行う。カメラ画像は、「第１画像」の一例である。カメラ画像に含まれる撮像範囲は、図２に示す撮像範囲ＩＲ１～ＩＲ５の少なくとも一つである。画像処理部１２０は、例えば、取得部１２２と、設定部１２４と、変換部１２６と、物標検出部１２８とを備える。

取得部１２２は、カメラ１０により時系列に撮像されたカメラ画像を取得する。取得部１２２は、取得したカメラ画像を記憶部１９０等に記憶させてよい。

設定部１２４は、取得部１２２により取得されたカメラ画像のうち、一以上の着目位置を設定する。着目位置とは、例えば魚眼カメラで撮影された画像に対し、変換部１２６により画像変換が行われる場合の変換中心点である。変換中心点とは、例えば、カメラ画像上における自車両Ｍからの方向および自車両Ｍからの距離に対応付けられる点である。また、変換中心点は、例えば、自車両Ｍの状況（例えば、自車両Ｍの位置や、速度、角速度等の挙動）や、自車両Ｍが走行する道路の形状等に応じて設定されてよい。

また、設定部１２４は、カメラ画像のうち一以上の着目位置を設定し、設定した各着目位置に対する一以上の部分画像を設定する。部分画像の形状は、例えば矩形であるが、他の形状（例えば円形等）であってもよい。また、部分画像領域の大きさは、固定でもよく、設定した着目位置の位置や方向に応じて可変に設定されてもよい。設定した着目位置の位置や方向に応じて部分画像領域の大きさが設定される場合、例えば、設定部１２４は、設定した着目位置付近で他車両が検出されたと仮定した場合に想定される他車両の大きさに基づいて部分画像領域の大きさが設定される。

また、設定部１２４は、過去の時刻に撮像されたカメラ画像に対応する部分画像に対する物標検出部１２８による検出結果と、自車両Ｍの状況とのうち少なくとも一方に基づいて着目位置を変更する。

変換部１２６は、例えば取得部１２２により取得されたカメラ画像のうち、設定部１２４により設定された変換中心点に基づく部分画像に対して歪み補正処理等の所定の画像処理を行い、歪みを軽減させて正規化させた正規化画像に変換する。正規化画像は、「第２画像」の一例である。変換部１２６は、例えば、予め用意されたキャリブレーションデータや歪みモデルデータ等を用いて座標変換や補間演算等を行うことで歪み補正を行ってもよく、その他の既知の歪み補正アルゴリズムを用いて部分画像の歪み補正を行ってもよい。歪み補正処理によって、変換中心点より近い位置ほど歪みが軽減され、変換中心点から遠い位置ほど歪みが軽減されないか、歪みが増大される。したがって、設定部１２４では、カメラ画像のうち、特に着目したい地点（例えば、自車両Ｍの前方、側方、後方の道路上の地点）に変換中心点を設定することで、その領域について歪みが軽減した補正画像が生成されることになる。

また、変換部１２６は、複数の着目位置に対応付けられた部分画像に対する複数の正規化画像を合成してもよい。この場合、各部分画像（各着目位置）の撮像範囲の中心からの距離や角度（言い換えると、自車両Ｍからの距離や自車両Ｍの正面方向からの角度）が異なるため、補正結果に差が生じる場合がある。そのため、変換部１２６は、これらの誤差を調整するための変換（例えば、画像サイズや解像度、距離に応じた拡大、縮小等の調整を行うための変換）を行ってもよい。これにより、より物標検出に適した正規化画像を生成することができる。

物標検出部１２８は、変換部１２６により変換された正規化画像を用いて、自車両Ｍの周辺（周囲）の物標を検出する。例えば、物標検出部１２８は、正規化画像に含まれる自車両Ｍの周辺の物標の位置（相対位置）、速度（相対速度）等を認識する。物標には、例えば、他車両（例えば、自車両Ｍから所定距離以内に存在する周辺車両）、歩行者、自転車、道路構造物等の物体が含まれる。道路構造物には、例えば、道路標識や交通信号機、縁石、中央分離帯、ガードレール、フェンス、壁、踏切等が含まれる。物標の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物標の位置は、その物標の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物標の「状態」とは、例えば物標が他車両である場合には、他車両の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。また、物標には、自車両Ｍが走行する道路に含まれる各車線を区画する道路区画線（以下、区画線と称する）や自車両Ｍの走行車線が含まれてよい。また、物標検出部１２８は、自車両Ｍおよび他車両の挙動に基づき他車両が対向車両（対向移動体の一例）であるか否かを判定してもよい。

例えば、物標検出部１２８は、正規化画像に対して画像解析を行い、画像に含まれる物標ごとの特徴情報（例えば、色、大きさ、形状等に基づく特徴情報）を取得し、取得した特徴情報と、予め決められた物標の特徴情報とのマッチング処理により、画像に含まれる物標を検出する。また、物標の検出には、例えば、人工知能（ＡＩ）や機械学習による判定処理等が含まれてもよい。このように、歪みが軽減された正規化画像を用いて物標検出を行うため、より精度よく各種物体、標識等を検出することができる。また、実施形態では、部分画像に対する変換処理や物標検出を行うため、魚眼カメラの撮影範囲全体を用いる場合と比較して、より迅速な物標検出を行うことができる。

判定部１４０は、画像処理部１２０の処理結果に基づいて、自車両Ｍの周辺に自車両Ｍの運転制御（運転支援）が必要な物標が存在するか否かを判定する。例えば、判定部１４０は、画像処理部１２０により検出された物標の位置および速度と、車両センサ４０から得られる自車両Ｍの位置および速度等に基づいて、物標と自車両Ｍとの相対距離や相対速度を導出し、導出した情報に基づいて自車両Ｍと物標とが将来接触する可能性があるか否かを判定する。以下、一例として、物標が他車両であるものとして説明する。

例えば、判定部１４０は、車両センサ４０等により検出される自車両Ｍの位置、速度と、物標検出部１２８により検出される他車両の他車両の位置、速度に基づいて、自車両Ｍと他車両の相対位置や相対速度を取得する。そして、判定部１４０は、自車両Ｍと車線Ｌ２を走行する他車両Ｍ１との相対位置（相対距離）および相対速度を用いて接触余裕時間ＴＴＣ（Time To Collision）を導出し、導出した接触余裕時間ＴＴＣが閾値未満であるか否かを判定する。接触余裕時間ＴＴＣは、例えば、相対距離から相対速度を除算することで算出される値である。接触余裕時間ＴＴＣは、例えば固定値であってもよく、自車両Ｍの速度ＶＭや他車両の速度、道路状況等によって設定される可変値であってもよい。

接触余裕時間ＴＴＣが閾値未満である場合、判定部１４０は、自車両Ｍと他車両とが接触する可能性があると判定し、閾値以上である場合に接触する可能性がないと判定する。

運転制御部１６０は、判定部１４０により自車両Ｍと他車両とが接触する可能性があると判定された場合に、自車両Ｍの操舵および速度のうち一方または双方を制御して、接触を回避するために自車両Ｍの走行を制御する。例えば、運転制御部１６０は、ブレーキ装置２１０を制御して自車両Ｍを急停止させる制御、または、走行駆動力出力装置２００を制御して自車両Ｍを急加速させる制御等の回避制御を実行する。また、運転制御部１６０は、急停止または急加速に代えて（または加えて）、ステアリング装置２２０を制御して操舵制御により他車両から離れる方向に自車両Ｍを移動させる回避制御を実行してもよい。

また、運転制御部１６０は、上述した制御に加えて、物標検出部１２８による検出結果に基づいて、例えば、ＡＣＣ（Adaptive Cruise Control）やＬＫＡＳ（Lane Keeping Assist System）、ＡＬＣ（Auto Lane Changing）等のような運転者が自車両Ｍを走行させる際に行う運転操作を支援する運転支援制御を行ってもよい。

ＨＭＩ制御部１８０は、ＨＭＩ３０により、乗員に所定の情報を通知したり、乗員の操作によってＨＭＩ３０により受け付けられた情報を取得する。例えば、乗員に通知する所定の情報には、例えば、自車両Ｍの状態に関する情報や運転制御に関する情報等の自車両Ｍの走行に関連のある情報が含まれる。自車両Ｍの状態に関する情報には、例えば、自車両Ｍの速度、エンジン回転数、シフト位置等が含まれる。また、所定の情報には、物標と接触する可能性があることを警告するための情報や、接触を回避するための運転操作を促す情報が含まれてもよい。また、所定の情報には、テレビ番組、ＤＶＤ等の記憶媒体に記憶されたコンテンツ（例えば、映画）等の自車両Ｍの運転制御に関連しない情報が含まれてもよい。

例えば、ＨＭＩ制御部１８０は、上述した所定の情報を含む画像を生成し、生成した画像をＨＭＩ３０の表示装置に表示させてもよく、所定の情報を示す音声を生成し、生成した音声をＨＭＩ３０のスピーカから出力させてもよい。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、運転制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、運転制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、運転制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、運転制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［画像処理部の機能］
以下、画像処理部１２０の機能について具体的に説明する。図３は、画像処理部１２０の機能について説明するための図である。図３の例では、車線（レーン）Ｌ１～Ｌ４からなる道路ＲＤ１を示している。車線Ｌ１、Ｌ２は、同一方向（図中Ｘ軸方向）に走行可能な車線であり、車線Ｌ３、Ｌ４は、車線Ｌ１、Ｌ２の対向車線である。図３において、車線Ｌ１は区画線ＲＬ１およびＲＬ２により区画され、車線Ｌ２は区画線ＲＬ２およびＲＬ３により区画され、車線Ｌ３は区画線ＲＬ３およびＲＬ４により区画され、車線Ｌ４は区画線ＲＬ４およびＲＬ５により区画されている。また、図３の例において、自車両Ｍは、車線Ｌ２の延伸方向に沿って速度ＶＭで走行し、自車両Ｍの基準位置（例えば、前端部）が地点Ｐ１に到達しているものとする。

取得部１２２は、カメラ１０により撮像されたカメラ画像を取得する。設定部１２４は、取得部１２２により取得された画像のうち、変換部１２６により画像変換を行う一以上の着目位置を設定する。以下では、説明の便宜上、自車両Ｍの右側に取り付けられた魚眼カメラにより撮影された撮像範囲ＩＲ２を基準に説明する。設定部１２４は、図３に示すように、撮像範囲ＩＲ２に対して、自車両Ｍから見て右前方、右側方、右後方の３つの着目位置ＴＰ１０～ＴＰ３０を設定する。なお、着目位置の数や角度については、これに限定されない。着目位置は、例えば、車両センサ４０から得られる自車両Ｍの挙動（例えば、速度や角速度）に基づいて設定されてもよく、これに代えて（または加えて）、車両センサ４０から得られる自車両Ｍの位置情報に基づいて記憶部１９０に記憶した地図情報を参照して得られる自車両Ｍが走行する道路の形状に基づいて設定されてよい。図３の例では、自車両Ｍの走行車線Ｌ２よりも右側の車線上に着目位置ＴＰ１０～ＴＰ３０が設定されている。

また、設定部１２４は、着目位置ＴＰ１０～ＴＰ３０を中心に部分画像Ａ１０～Ａ３０を設定する。

変換部１２６は、設定部１２４により設定された部分画像Ａ１０～Ａ３０に対して、画像の歪み補正処理等の所定の画像処理行って正規化画像に変換する。なお、魚眼カメラにより撮像されたカメラ画像は、撮像範囲ＩＲ２の中心Ｃ２からの距離が離れるほど歪が大きくなるため、各部分画像Ａ１０～Ａ３０も中心Ｃ２からの距離および方向（角度）よって歪み度合が異なる。したがって、変換部１２６は、撮影範囲ＩＲ２の中心Ｃ２からの距離および方向に応じて歪みの補正度合を調整してもよい。また、変換部１２６は、部分画像Ａ１０～Ａ３０に対して歪み補正処理を行った画像を合成して正規化画像に変換する。

物標検出部１２８は、変換部１２６により変換された正規化画像を用いて、画像内に存在する物標を検出する。また、物標検出部１２８は、物標が検出された場合に、その物標が、自車両Ｍが走行中の車線Ｌ２を逸脱する可能性がある物標であるか否かを判定してもよい。自車両Ｍが車線Ｌ２を逸脱する可能性がある物標とは、例えば、自車両Ｍに接近している他車両である。他車両が自車両Ｍに接近している場合には、自車両Ｍは、他車両との接触を回避するため、車線変更等により車線を逸脱する可能性があるからである。また、自車両Ｍが車線Ｌ２を逸脱する可能性を発生がある物標には、例えば、自車両Ｍの前方の走行車線に進入してきた物体等が含まれる。また、物標検出部１２８は、正規化画像から物標が検出された場合に、物標の状況（例えば、位置や速度、進行方向等）の挙動を検出する。

また、設定部１２４は、過去の画像フレーム（例えば、時系列の直前または数フレーム前の画像フレーム）から得られた正規化画像に対する物標検出部１２８の検出結果と、自車両Ｍの状況とのうち少なくとも一方に基づいて着目位置を変更する。

図４は、着目位置を変更することについて説明するための図である。なお、以下では、着目位置ＴＰ１０を用いて説明するが、他の着目位置についても同様の処理を行ってよい。例えば、物標検出部１２８により物標が検出されない場合、設定部１２４は、図４に示すように、過去の着目位置ＴＰ１０よりも、自車両Ｍから見て所定距離Ｄ１以上離れた着目位置ＴＰ１１を、新たな着目位置として設定する。なお、着目位置ＴＰ１１は、例えば、自車両Ｍの走行車線Ｌ２の隣接車線Ｌ３付近（車線Ｌ３から所定距離以内）の位置である。また、着目位置ＴＰ１１は、例えばカメラ画像により撮影範囲に含まれる車線のうち、自車両Ｍら最も遠い車線（例えば、車線Ｌ４）付近の位置であってもよく、物標検出部１２８により検出可能な車線のうち、最も遠い車線付近の位置であってもよい。例えば、前回の着目位置ＴＰ１０が車線（例えば車線Ｌ３）上の位置である場合、設定部１２４は、同一車線上またはその車線よりも自車両Ｍから離れた車線で、自車両Ｍから見てその位置よりも遠方の位置に着目位置ＴＰ１１が設定される。遠方の位置とは、例えば、カメラ画像を基準にすると、前回の位置よりも上方側の位置である。所定距離Ｄ１は、自車両Ｍの状況や道路形状等に基づいて可変に設定されてもよく、固定値でもよい。また、所定の距離Ｄ１は、物標検出部１２８による検出処理の回数に応じて段階的に距離が長くなるように設定されてもよい。また、設定部１２４は、着目位置ＴＰ１１を中心とした部分画像Ａ１１を設定する。

なお、設定部１２４は、着目位置ＴＰ１１を過去の着目位置ＴＰ１０から変更するのではなく、着目位置ＴＰ１１を追加してもよい。これにより、変換部１２６は、次の変換時には、前回の部分画像Ａ１０から部分画像Ａ１１に変更して画像変換を行うことで、遠方の歪み補正の精度を向上させて、より早期に遠方の物標を検出することができる。

また、設定部１２４は、物標検出部１２８により所定の物標が検出された場合には、着目位置の変更を行わない。所定の物標とは、例えば、自車両Ｍに接近する車両であり、より具体的には対向車両である。対向車両は、自車両Ｍに接近している他車両の一例であり、その挙動によって自車両Ｍが走行車線を逸脱する可能性がある物標の一例である。図５は、対向車両が検出された場合の変換中心位置の設定について説明するための図である。図５の例では、図４と比較して、自車両Ｍが走行する車線Ｌ２の対向車線である車線Ｌ４を延伸方向に向かって速度Ｖｍ１で走行する他車両Ｍ１が存在する点で相違する。

物標検出部１２８は、部分画像Ａ１０に対応する正規化画像から他車両Ｍ１を検出する。そのため、設定部１２４は、次の着目位置の設定において、着目位置ＴＰ１０の変更を行わない。これにより、次回の物標検出時においても同じ着目位置ＴＰ１０により変換された画像を用いて他車両ｍ１を検出することができ、他車両ｍ１をより確実に追跡することができる。なお、その他の着目位置ＴＰ２０、ＴＰ３０に対応する部分画像には物標が検出されていないため、設定部１２４は、着目位置ＴＰ２０、ＴＰ３０に対して、現在位置よりも遠方の位置に変更する処理を行ってよい。

なお、設定部１２４は、自車両Ｍの状況（位置、挙動）や他車両ｍ１の状況（位置、挙動）に応じて、着目位置を水平方向に移動したり、近付けたりしてもよい。この場合、設定部１２４は、自車両Ｍと他車両ｍ１の将来の位置と挙動から、他車両ｍ１が部分画像の中心となるように着目位置を設定する。これにより、より確実に他車両ｍ１を検出することができる。また、設定部１２４は、自車両Ｍの右折または左折動作、その他車線変更などの方位変更動作により、自車両Ｍの角速度が所定角度以上である場合に、着目位置を、自車両Ｍの角速度に応じて水平方向に移動させてよい。この場合、設定部１２４は、自車両Ｍが右折するのであれば、右折先の道路付近に着目位置が位置付けられるように、角速度に応じて着目位置を変更（水平移動）する。これにより、右左折先の道路上の物標をより迅速かつ確実に検出することができる。

このように、設定部１２４は、過去のカメラ画像から設定された部分画像に所定の物標が検出されない場合の着目位置を、過去のカメラ画像から設定された部分画像から物標が検出された場合の着目位置よりも所定距離以上離れた位置に設定することで、遠方の物標をより迅速且つ確実に検出することができる。なお、設定部１２４は、遠方の着目位置に基づく部分画像に物標が検出された場合に、着目位置を元の位置（初期位置）に戻してもよく、自車両Ｍや他車両の挙動に基づいて着目位置を段階的に自車両Ｍ付近に近づけてもよい。

運転制御部１６０は、画像処理部１２０による処理結果に基づいて、自車両Ｍと物標とが接触しないように、自車両Ｍの操舵または速度のうち、一方または双方を制御する走行制御が実行される。

ＨＭＩ制御部１８０は、例えば、着目領域や部分画像領域に関する情報、物標検出結果、運転制御に関する情報等を、ＨＭＩ３０に出力させる。これにより、自車両Ｍによる制御内容をより正確に乗員に把握させることができる。

［処理フロー］
次に、実施形態の車両制御装置１００よって実行される処理の流れについて説明する。なお、以下のフローチャートの処理は、車両システム１によって実行される処理を含むものとし、所定のタイミングで繰り返し実行されてよい。

図６は、車両制御装置１００よって実行される処理の流れの一例を示すフローチャートである。図６の例において、車両システム１は、魚眼カメラを含むカメラ１０で自車両Ｍの周辺を撮像する（ステップＳ１００）。次に、車両制御装置１００の画像処理部１２０は、撮像された画像を取得して所定の画像処理を実行する（ステップＳ２００）。次に、判定部１４０は、画像処理部１２０の処理結果に基づいて、自車両Ｍの周辺に自車両Ｍの運転制御（運転支援）が必要な物標が存在するか否かを判定する（ステップＳ３００）。運転制御が必要な物標が存在すると判定された場合、運転制御部１６０は、例えば、物標の状況と自車両Ｍの状況とに基づく運転制御（例えば、接触回避制御等）を実行する（ステップＳ４００）。これにより、本フローチャートの処理は終了する。また、ステップＳ３００の処理において、運転制御が必要な物標が存在しないと判定された場合、本フローチャートの処理は終了する。

図７は、実施形態に係る画像処理の流れの一例を示すフローチャートである。なお、図７の例は、上述したステップＳ２００の処理に相当するものである。図７の例において、取得部１２２は、魚眼カメラで撮像されたカメラ画像を取得する（ステップＳ２１０）。次に、設定部１２４は、カメラ画像から一以上の着目位置を設定する（ステップＳ２２０）。次に、設定部１２４は、設定された着目位置を基準に部分画像を設定する（ステップＳ２３０）。次に、変換部１２６は、設定された部分画像に対して歪み補正等の画像処理を行い、正規化画像に画像変換する（ステップＳ２４０）。次に、物標検出部１２８は、正規化画像に基づいて物標検出処理を行う（ステップＳ２５０）。これにより、本フローチャートの処理は終了する。

図８は、着目位置の設定処理の一例を示すフローチャートである。図８の例は、上述したステップＳ２２０の処理に相当するものである。また、図８の例では、処理の最初の着目位置の設定により基準の着目位置が既に設定されているものとする。図８の例において、設定部１２４は、前回の画像フレームにおける物標検出処理において、物標が検出されたか否かを判定する（ステップＳ２２２）。物標が検出されたと判定した場合、設定部１２４は、検出された物標は、対向車両か否かを判定する（ステップＳ２２４）。対向車両であると判定した場合、現在の着目位置を変更しない（同じ着目位置を設定する）（ステップＳ２２６）。また、ステップＳ２２２の処理において、物標が検出されたと判定した場合、またはステップＳ２２４の処理において、対向車両でないと判定された場合、設定部１２４は、現在の着目位置よりも所定距離以上遠方に着目位置を設定する（ステップＳ２２８）。これにより、本フローチャートの処理を終了する。

以上の通り説明した実施形態によれば、画像処理部１２０（画像処理装置の一例）において、移動体に搭載されたカメラ（撮像部の一例）により時系列に撮像された第１画像を取得する取得部１２２と、第１画像のうち、移動体の位置を基準とした一以上の着目位置を設定する設定部１２４と、設定部１２４により設定された着目位置に基づいて設定される部分画像を第２画像に変換する変換部１２６と、変換部１２６により変換された第２画像に基づいて移動体の周囲の物標を検出する物標検出部１２８と、を備え、設定部１２４は、物標検出部１２８による検出結果と、移動体の状況とのうち少なくとも一方に基づいて着目位置を変更することにより、カメラ画像に対して、より適切な画像処理を行うことができる。

また、実施形態によれば、魚眼カメラにより撮影される広範な撮像画像であっても、着目位置に基づいて部分画像を抽出して、画像変換（例えば、歪み補正）や、物標検出を行うため、より迅速且つ高精度に物標検出を行うことができる。したがって、魚眼カメラから得られる広範な撮像画像を、運転支援や自動運転等の運転制御のための物標検出処理や、接触判定処理等に有効に活用することができ、処理の信頼性をより向上させることができる。

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令を格納する記憶媒体と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより、
移動体に搭載された撮像部により時系列に撮像された第１画像を取得し、
前記第１画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定し、
設定された前記着目位置に基づいて設定される部分画像を第２画像に変換し、
変換された前記第２画像に基づいて前記移動体の周囲の物標を検出し、
検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、
画像処理装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…カメラ、３０…ＨＭＩ、４０…車両センサ、８０…運転操作子、１００…車両制御装置、１２０…画像処理部、１２２…取得部、１２４…設定部、１２６…変換部、１２８…物標検出部、１４０…判定部、１６０…運転制御部、１８０…ＨＭＩ制御部、１９０…記憶部、２００…走行駆動力出力装置、２１０…ブレーキ装置、２２０…ステアリング装置、Ｍ…自車両

Claims (11)

1. 移動体に搭載された撮像部により時系列に撮像された第１画像を取得する取得部と、
   前記第１画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定する設定部と、
   前記設定部により設定された着目位置に基づいて設定される部分画像を第２画像に変換する変換部と、
   前記変換部により変換された第２画像に基づいて前記移動体の周囲の物標を検出する物標検出部と、を備え、
   前記設定部は、前記物標検出部による検出結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、
   画像処理装置。
2. 前記設定部は、前記撮像部により撮像された過去の第１画像に基づく前記第２画像に所定の物標が検出されてない場合に、前記着目位置を、前記第２画像から物標が検出された場合の着目位置よりも所定距離以上遠方の位置に変更する、
   請求項１に記載の画像処理装置。
3. 前記設定部は、前記撮像部により撮像された過去の第１画像に基づく前記第２画像に所定の物標が検出された場合に、前記着目位置を変更しない、
   請求項１または２に記載の画像処理装置。
4. 前記所定の物標は、前記移動体に対向して走行する対向移動体を含む、
   請求項３に記載の画像処理装置。
5. 前記設定部は、前記移動体の角速度が所定角度以上である場合に、前記着目位置を、前記角速度に応じて水平方向に移動させる、
   請求項１から４のうち何れか１項に記載の画像処理装置。
6. 前記所定距離以上遠方の位置は、前記移動体が走行するレーンに隣接するレーンから所定距離以内の位置を含む、
   請求項２に記載の画像処理装置。
7. 前記所定距離以上遠方の位置は、前記物標検出部によって検出可能なレーンのうち、前記移動体から最も遠いレーンから所定距離以内の位置を含む、
   請求項２に記載の画像処理装置。
8. 前記物標は、前記移動体が走行中のレーンを逸脱する可能性がある物標である、
   請求項１から７のうち何れか１項に記載の画像処理装置。
9. 請求項１から請求項８のうち何れか１項に記載された画像処理装置と、
   前記画像処理装置による処理結果に基づいて、前記移動体の操舵または速度のうち、一方または双方を制御する運転制御部と、
   を備える、移動体制御装置。
10. コンピュータが、
    移動体に搭載された撮像部により時系列に撮像された第１画像を取得し、
    前記第１画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定し、
    設定された前記着目位置に基づいて設定される部分画像を第２画像に変換し、
    変換された前記第２画像に基づいて前記移動体の周囲の物標を検出し、
    検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、
    画像処理方法。
11. コンピュータに、
    移動体に搭載された撮像部により時系列に撮像された第１画像を取得させ、
    前記第１画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定させ、
    設定された前記着目位置に基づいて設定される部分画像を第２画像に変換させ、
    変換された前記第２画像に基づいて前記移動体の周囲の物標を検出させ、
    検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更させる、
    プログラム。

Images