JP6327160B2 - 車両用画像処理装置 - Google Patents

Description

本発明は、車両に設置された撮影装置により撮影された画像に対して処理を行う車両用画像処理装置に関する。

従来、車両周辺の一部分を連続して撮影し、現時点で撮影した撮影画像と、現時点よりも前に撮影した画像とを、車両の上方から見下ろした画像に変換して繋ぎ合わせることにより、車両とその周囲全体を俯瞰した１枚のトップビュー画像を作成する技術が知られている（例えば、特許文献１を参照）。

特開２００２−３７３３２７号公報

しかし、上記特許文献１に記載の技術では、タイヤ交換などで車両のタイヤの外径が変化すると、１枚のトップビュー画像において、現時点で撮影した撮影画像と、現時点よりも前に撮影した履歴画像との境界付近でズレが生じてしまうという問題があった。

本発明は、こうした問題に鑑みてなされたものであり、撮影画像に履歴画像を合成することによって作成される車両周辺画像であっても、撮影画像と履歴画像との繋がりをスムーズにすることで、違和感を低減させることを目的とする。

上記目的を達成するためになされた本発明は、車両に設置された複数の撮影装置によって撮像される車両の周辺の画像から、当該車両の周囲を上方から俯瞰視した車両周辺画像を生成する車両用画像処理装置であって、周辺画像取得手段と、算出手段と、合成画像作成手段と、タイヤパラメータ更新手段とを備える。

周辺画像取得手段は、車両の前方領域を連続して撮影する前方撮影装置、及び車両の後方領域を連続して撮影する後方撮影装置、のそれぞれから前方撮影画像及び後方撮影画像を取得する。

算出手段は、車両のタイヤの回転角度に係る情報を含む車両状態情報、及び記憶部に記憶されたタイヤの外径に係るパラメータ情報、を用いて車両の移動距離を算出する。
合成画像作成手段は、前方撮影画像及び後方撮影画像のうちで車両の進行方向を写す一方の過去の画像を履歴画像として使用し、前方撮影画像及び後方撮影画像のうちの他方の画像に移動距離に基づいて履歴画像を合成することにより、車両周辺画像を作成する。

タイヤパラメータ更新手段は、移動距離に基づいて合成された履歴画像と、他方の画像とのずれが低減されるように、記憶部に記憶されたパラメータ情報を更新する。
このように構成された本発明の車両用画像処理装置は、前方撮影画像及び後方撮影画像のうちで履歴画像に使用していない他方の画像と、算出手段によって算出された移動距離に基づいて合成される履歴画像とのずれを低減するよう、パラメータ情報の更新を行なうことができる。故に、タイヤの外径が何らかの要因で変化した場合でも、車両用画像処理装置は、車両状態情報により特定されるタイヤ回転角度と、パラメータ情報とを用いて算出される移動距離が、車両の実際の移動距離と異なっているという事態の発生を抑制することができる。

このため、本発明の車両用画像処理装置は、撮影画像に履歴画像を合成することによって車両周辺画像を生成していても、撮影画像と履歴画像との繋がりをスムーズにすることができる。これにより、本発明の車両用画像処理装置は、違和感の低減された車両周辺画像の生成を実現できる。

車両用表示システム１の構成を示すブロック図である。 周辺表示処理を示すフローチャートである。 表示用トップビュー画像の構成を示す図である。 第１実施形態のタイヤパラメータ更新処理を示すフローチャートである。 タイヤ外径が大きくなった場合の表示用トップビュー画像を示す図である。 タイヤ外径が小さくなった場合の表示用トップビュー画像を示す図である。 第２実施形態のタイヤパラメータ更新処理を示すフローチャートである。 後方表示領域と中間表示領域に計測用物体が表示されている表示用トップビュー画像を示す図である。 第３実施形態のタイヤパラメータ更新処理を示すフローチャートである。 移動物体の速度を算出する方法を説明するためのトップビュー画像を示す図である。 表示用トップビュー画像と輝度変化パターンを示す図である。

（第１実施形態）
以下に本発明の第１実施形態を図面とともに説明する。
本実施形態の車両用表示システム１は、車両に搭載され、図１に示すように、車載カメラ群２と、センサ群３と、画像処理装置４と、表示装置５とを備える。

車載カメラ群２は、前方カメラ１１および後方カメラ１２から構成されている。前方カメラ１１は、車両用表示システム１を搭載した車両（以下、自車両という）の前側に取り付けられており、自車両の前方の地上面を繰り返し撮影する。後方カメラ１２は、自車両の後側に取り付けられており、自車両の後方の地上面を繰り返し撮影する。

センサ群３は、車速センサ２１、ヨーレートセンサ２２、シフトレバー位置センサ２３および操舵角センサ２４から構成されている。車速センサ２１は、車軸の回転に応じて所定角度毎にローレベルからハイレベルに変化する車速信号を出力する。ヨーレートセンサ２２は、自車両のヨーレートを検出し、その検出結果を示すヨーレート信号を出力する。シフトレバー位置センサ２３は、車両のシフトレバーの位置を検出し、その検出結果を示すシフト位置信号を出力する。操舵角センサ２４は、車両のハンドルの操舵角を検出し、その検出結果を示す操舵角信号を出力する。

画像処理装置４は、画像入力信号処理部３１、入力信号処理部３２、画像変換部３３、記憶部３４、制御部３５および画像出力信号処理部３６を備える。
画像入力信号処理部３１は、前方カメラ１１および後方カメラ１２から撮影画像を入力するためのインタフェースである。

入力信号処理部３２は、各種センサ２１〜２４から信号を入力するためのインタフェースである。
画像変換部３３は、画像入力信号処理部３１を介して前方カメラ１１および後方カメラ１２から撮影画像を取得し、撮影画像を座標変換することにより、車両の上方の視点から見た変換画像（以下、トップビュー画像という）を作成する。以下、前方カメラ１１の撮影画像を座標変換することにより作成されたトップビュー画像を、前方トップ画像という。また、後方カメラ１２の撮影画像を座標変換することにより作成されたトップビュー画像を、後方トップ画像という。また画像変換部３３は、作成した前方トップ画像および後方トップ画像を制御部３５へ出力する。

記憶部３４は、各種データを記憶するための記憶装置であり、画像変換部３３が作成した前方トップ画像および後方トップ画像と、自車両のタイヤの外径（以下、自車両タイヤ外径という）を示すタイヤパラメータ情報を記憶する。なお、自車両の４つのタイヤは全て同じ外径を有しているとして、タイヤパラメータ情報は、４つのタイヤそれぞれの外径ではなく、１つのタイヤの外径を示す。

制御部３５は、ＣＰＵ４１、ＲＯＭ４２およびＲＡＭ４３等からなるマイクロコンピュータを中心に構成されている。そして制御部３５は、ＲＯＭ４２に記憶されているプログラムに基づく処理をＣＰＵ４１が実行することにより、画像処理装置４を制御する。

画像出力信号処理部３６は、制御部３５により画像処理された画像データを表示装置５へ出力するためのインタフェースである。
表示装置５は、液晶ディスプレイ等の表示画面を有するカラー表示装置であり、画像処理装置４からの画像データの入力に応じて各種画像を表示画面に表示する。

このように構成された車両用表示システム１において、画像処理装置４は、後述する周辺表示処理およびタイヤパラメータ更新処理を実行する。
まず、画像処理装置４の制御部３５が実行する周辺表示処理の手順を説明する。この周辺表示処理は、画像処理装置４の動作中において予め設定された実行周期毎に繰り返し実行される処理である。

この周辺表示処理が実行されると、制御部３５は、図２に示すように、まずＳ１０にて、入力信号処理部３２を介して車速センサ２１、ヨーレートセンサ２２およびシフトレバー位置センサ２３からそれぞれ車速信号、ヨーレート信号およびシフト位置信号を取得する。そして、Ｓ１０で取得した車速信号により特定される車速を示す車速情報と、Ｓ１０で取得したヨーレート信号により特定されるヨーレートを示すヨーレート情報と、Ｓ１０で取得したシフト位置信号により特定されるシフト位置情報を、記憶部３４に設けられた車両情報記憶領域に記憶する。なお、上記車速情報が示す車速は、車速信号が入力する時間間隔に基づいて算出される。これにより、記憶部３４の車両情報記憶領域には、複数の車速情報、ヨーレート情報およびシフト位置情報が時系列で記憶される。

次にＳ３０にて、画像変換部３３から前方トップ画像と後方トップ画像を取得する。さらにＳ４０にて、Ｓ３０で取得した前方トップ画像と後方トップ画像を、記憶部３４に設けられた前後方トップ画像記憶領域に記憶する。これにより、記憶部３４の前後方トップ画像記憶領域には、複数の前方トップ画像および後方トップ画像が時系列で記憶される。

その後Ｓ５０にて、取得した車速信号に基づいて、自車両の走行速度が、低速で走行していることを示す予め設定された低速走行判定速度（本実施形態では、例えば３０ｋｍ／ｈ）以下であるか否かを判断する。

ここで、自車両の走行速度が低速走行判定速度を超えている場合には（Ｓ５０：ＮＯ）、Ｓ６０にて、Ｓ３０で取得した前方トップ画像と後方トップ画像を表示装置５へ出力し、周辺表示処理を一旦終了する。これにより、前方トップ画像と後方トップ画像が表示装置５の表示画面に表示される。

一方、自車両の走行速度が低速走行判定速度以下である場合には（Ｓ５０：ＹＥＳ）、Ｓ７０にて、取得したシフト位置信号に基づいて、自車両のシフト位置がＰ（パーキング）またはＮ（ニュートラル）であるか否かを判断する。ここで、シフト位置がＰまたはＮである場合には（Ｓ７０：ＹＥＳ）、Ｓ６０にて、Ｓ３０で取得した前方トップ画像と後方トップ画像を示すデータを表示装置５へ出力し、周辺表示処理を一旦終了する。

またＳ７０にて、シフト位置がＰとＮのどちらでもない場合には（Ｓ７０：ＮＯ）、Ｓ８０にて、記憶部３４に時系列で記憶されている複数の車速情報とヨーレート情報とシフト位置情報により特定される車速とヨーレートとシフト位置に基づいて、自車両の移動距離と移動方向を逐次算出する。なおＳ８０では、記憶部３４に時系列で記憶されている複数のヨーレート情報により特定されるヨーレートに基づいて左右の移動方向を算出する。また、記憶部３４に時系列で記憶されている複数のシフト位置情報により特定されるシフト位置に基づいて、前後の移動方向を算出する。また、記憶部３４に時系列で記憶されている複数の車速情報により特定される車速と、記憶部３４に記憶されているタイヤパラメータ情報が示す自車両タイヤ外径とに基づいて、自車両の移動距離を算出する。

そしてＳ９０にて、自車両のシフト位置がＤ（ドライブ）であるか否かを判断する。ここで、シフト位置がＤである場合には（Ｓ９０：ＹＥＳ）、Ｓ１００にて、記憶部３４に記憶されている前方トップ画像を用いて中間トップ画像を作成し、作成した中間トップ画像を、記憶部３４に設けられた中間トップ画像記憶領域に記憶した後に、Ｓ１２０に移行する。中間トップ画像は、前方トップ画像が示す領域と後方トップ画像が示す領域との間に位置する領域（以下、中間領域という）におけるトップビュー画像である。なお、中間トップ画像は、本発明における履歴画像に相当する。

Ｓ１００では、Ｓ８０で算出した移動距離と移動方向に基づいて、上記の中間領域を撮影している前方トップ画像を記憶部３４から抽出する。さらにＳ１００では、抽出した前方トップ画像と上記の中間領域とのズレに応じて、抽出した前方トップ画像を平行移動させたり回転移動させたりする座標変換を行うことにより、中間トップ画像を作成する。なお、Ｓ１００で抽出した前方トップ画像は、本発明における一方の画像に相当し、抽出した前方トップ画像によって本発明における履歴画像が作成される。

一方、自車両のシフト位置がＤでない場合には（Ｓ９０：ＮＯ）、自車両のシフト位置がＲ（リバース）であると判断し、Ｓ１１０にて、記憶部３４に記憶されている後方トップ画像を用いて、Ｓ１００と同様の方法で、中間トップ画像を作成し、作成した中間トップ画像を、記憶部３４に設けられた中間トップ画像記憶領域に記憶した後に、Ｓ１２０に移行する。なお、Ｓ１１０で抽出した後方トップ画像は、本発明における一方の画像に相当し、抽出した後方トップ画像によって本発明における履歴画像が作成される。

そしてＳ１２０に移行すると、表示装置５に表示するためのトップビュー画像（以下、表示用トップビュー画像という）を作成する。
表示用トップビュー画像は、図３に示すように、前方表示領域Ｒ１と後方表示領域Ｒ２と中間表示領域Ｒ３が設定されている。前方表示領域Ｒ１は、自車両の前方のトップビュー画像を表示する領域である。後方表示領域Ｒ２は、自車両の後方のトップビュー画像を表示する領域である。中間表示領域Ｒ３は、自車両の前方と後方との間のトップビュー画像を表示する領域である。

Ｓ１２０では、前方表示領域Ｒ１と後方表示領域Ｒ２にそれぞれ、Ｓ３０で取得した前方トップ画像と後方トップ画像を割り当てるとともに、中間表示領域Ｒ３に、記憶部３４の中間トップ画像記憶領域に記憶された最新の中間トップ画像を割り当てる。さらにＳ１２０では、中間表示領域Ｒ３に、自車両画像ＣＧを配置する。これにより、表示用トップビュー画像の作成が完了する。

そしてＳ１２０の処理が終了すると、図２に示すように、Ｓ１３０にて、Ｓ１２０で作成した表示用トップビュー画像を示すデータを表示装置５へ出力し、周辺表示処理を一旦終了する。これにより、表示用トップビュー画像が表示装置５の表示画面に表示される。

次に、画像処理装置４の制御部３５が実行するタイヤパラメータ更新処理の手順を説明する。このタイヤパラメータ更新処理は、画像処理装置４の起動直後に開始される処理である。

このタイヤパラメータ更新処理が実行されると、制御部３５は、図４に示すように、まずＳ２１０にて、予め設定された処理開始条件が成立したか否かを判断する。本実施形態の処理開始条件は、前回の処理開始条件の成立から予め設定された処理開始判定距離を自車両が走行したことである。

ここで、処理開始条件が成立していない場合には（Ｓ２１０：ＮＯ）、Ｓ２１０の処理を繰り返すことにより、処理開始条件が成立するまで待機する。
一方、処理開始条件が成立した場合には（Ｓ２１０：ＹＥＳ）、Ｓ２２０にて、自車両の走行速度が予め設定された処理開始判定速度（本実施形態では、例えば４０ｋｍ／ｈ）以下であるか否かを判断する。ここで、自車両の走行速度が処理開始判定速度を超えている場合には（Ｓ２２０：ＮＯ）、Ｓ２２０の処理を繰り返すことにより、走行速度が処理開始判定速度以下になるまで待機する。

一方、自車両の走行速度が処理開始判定速度以下である場合には（Ｓ２２０：ＹＥＳ）、Ｓ２３０にて、操舵角センサ２４からの操舵角信号に基づいて、自車両が直進しているか否かを判断する。具体的には、操舵角信号が示す操舵角が予め設定された直進判定角度範囲内（例えば、−３°〜＋３°）である場合に、自車両が直進していると判断する。

ここで、自車両が直進していない場合には（Ｓ２３０：ＮＯ）、Ｓ２３０の処理を繰り返すことにより、自車両が直進している状態になるまで待機する。一方、自車両が直進している場合には（Ｓ２３０：ＹＥＳ）、Ｓ２４０にて、シフトレバー位置センサ２３からのシフト位置信号に基づいて、自車両のシフト位置がＲ（リバース）であるか否かを判断する。

ここで、シフト位置がＲでない場合には（Ｓ２４０：ＮＯ）、シフト位置がＤであると判断し、Ｓ２５０にて、記憶部３４に記憶されている最新の後方トップ画像を用いて、画像認識処理（例えばパターンマッチング）を行うことにより、後方トップ画像に写っている計測用物体を検出する。本実施形態の計測用物体は、例えば、パイロン、標識、路面印刷、マンホールおよびポールである。

そしてＳ２６０にて、Ｓ２５０で計測用物体を検出したか否かを判断する。ここで、計測用物体を検出していない場合には（Ｓ２６０：ＮＯ）、Ｓ２５０に移行して、上述の処理を繰り返す。一方、計測用物体を検出した場合には（Ｓ２６０：ＹＥＳ）、Ｓ２７０にて、記憶部３４に記憶されている前方トップ画像の中から、Ｓ２５０で検出した計測用物体と同じ計測用物体が写っている画像を抽出する。

そしてＳ２８０にて、Ｓ２５０で計測用物体を検出した後方トップ画像の撮影タイミングとＳ２７０で抽出した前方トップ画像の撮影タイミングとの間の時間差（以下、前後時間差という）を算出する。さらにＳ２９０にて、Ｓ２５０で計測用物体を検出した後方トップ画像内で計測用物体が写っている位置と、Ｓ２７０で抽出した前方トップ画像内で計測用物体が写っている位置とに基づいて、自車両が前後時間差内で走行した距離（以下、前後走行距離という）を算出し、Ｓ３５０に移行する。

またＳ２４０にて、シフト位置がＲである場合には（Ｓ２４０：ＹＥＳ）、Ｓ３００にて、記憶部３４に記憶されている最新の前方トップ画像を用いて、Ｓ２５０と同様にして画像認識処理を行うことにより、前方トップ画像に写っている計測用物体を検出する。

そしてＳ３１０にて、Ｓ３００で計測用物体を検出したか否かを判断する。ここで、計測用物体を検出していない場合には（Ｓ３１０：ＮＯ）、Ｓ３００に移行して、上述の処理を繰り返す。一方、計測用物体を検出した場合には（Ｓ３１０：ＹＥＳ）、Ｓ３２０にて、記憶部３４に記憶されている後方トップ画像の中から、Ｓ３００で検出した計測用物体と同じ計測用物体が写っている画像を抽出する。

そしてＳ３３０にて、Ｓ３００で計測用物体を検出した前方トップ画像の撮影タイミングとＳ３２０で抽出した後方トップ画像の撮影タイミングとの間の時間差（前後時間差）を算出する。さらにＳ３４０にて、Ｓ３００で計測用物体を検出した前方トップ画像内で計測用物体が写っている位置と、Ｓ３２０で抽出した後方トップ画像内で計測用物体が写っている位置とに基づいて、自車両が前後時間差内で走行した距離（前後走行距離）を算出し、Ｓ３５０に移行する。

そしてＳ３５０に移行すると、まず、Ｓ２８０またはＳ３３０で算出した前後時間差と、車速信号とにより、前後時間差で自車両のタイヤが回転した角度（以下、前後タイヤ回転角度という）を算出する。なお、前後タイヤ回転角度は、前後時間差の期間中に車速信号が入力した回数に基づいて算出することができる。前後タイヤ回転角度は、３６０°を超えて算出可能である。さらにＳ３５０では、Ｓ２９０またはＳ３４０で算出した前後走行距離と、Ｓ３５０で算出した前後タイヤ回転角度とに基づいて、自車両タイヤ外径を算出する。具体的には、前後走行距離と前後タイヤ回転角度とに基づいて、タイヤが３６０°回転する間に走行する距離をタイヤの周長として算出し、このタイヤの周長をπで除算した値を、自車両タイヤ外径とする。

そしてＳ３６０にて、記憶部３４に記憶されているタイヤパラメータ情報の値を、Ｓ３５０で算出した値に更新し、タイヤパラメータ更新処理を終了する。
このように構成された画像処理装置４は、車両の前方領域を連続して撮影する前方カメラ１１による撮影画像に対して車両の上方から俯瞰視する座標変換を行った前方トップ画像と、車両の後方領域を連続して撮影する後方カメラ１２による撮影画像に対して車両の上方から俯瞰視する座標変換を行った後方トップ画像を取得する（Ｓ３０）。

また画像処理装置４は、車速情報、ヨーレート情報およびシフト位置情報と、記憶部３４に記憶されたタイヤの外径に係るタイヤパラメータ情報とを用いて車両の移動距離を算出する（Ｓ８０）。

また画像処理装置４は、車両が前進している場合には、記憶部３４に記憶された過去の前方トップ画像を履歴画像として使用し、現時点で取得した後方トップ画像に移動距離に基づいて履歴画像を合成することにより、表示用トップビュー画像を作成する（Ｓ１００，Ｓ１２０）。また画像処理装置４は、車両が後進している場合には、記憶部３４に記憶された過去の後方トップ画像を履歴画像として使用し、現時点で取得した前方トップ画像に移動距離に基づいて履歴画像を合成することにより、表示用トップビュー画像を作成する（Ｓ１１０，Ｓ１２０）。

そして画像処理装置４は、移動距離に基づいて合成された履歴画像と、現時点で取得した前方トップ画像または後方トップ画像とのずれが低減されるように、記憶部３４に記憶されたタイヤパラメータ情報を更新する（Ｓ２５０〜Ｓ３６０）。

このように画像処理装置４は、前方トップ画像と後方トップ画像のうちで履歴画像に使用していない他方の画像と、算出された移動距離に基づいて合成される履歴画像とのずれを低減するよう、タイヤパラメータ情報の更新を行なうことができる。故に、タイヤの外径が何らかの要因で変化した場合でも、画像処理装置４は、車速情報により特定されるタイヤ回転角度と、タイヤパラメータ情報とを用いて算出される移動距離が、車両の実際の移動距離と異なっているという事態の発生を抑制することができる。

このため、画像処理装置４は、撮影画像に履歴画像を合成することによって表示用トップビュー画像を生成していても、撮影画像と履歴画像との繋がりをスムーズにすることができる。これにより画像処理装置４は、違和感の低減された表示用トップビュー画像の生成を実現できる。

例えば、実際の自車両タイヤ外径が、タイヤパラメータ情報が示す自車両タイヤ外径よりも大きい場合には、例えば図５に示すように、後方表示領域Ｒ２と中間表示領域Ｒ３との両方で同一のパイロンＰＬ２，ＰＬ３が表示され、後方表示領域Ｒ２と中間表示領域Ｒ３との境界付近で、車両の進行方向ＤＭに沿ってズレが生じてしまう。これは、自車両の実際の移動距離が、画像処理装置４が算出した移動距離よりも長くなり、これにより、自車両とパイロンとの距離に関して、画像処理装置４が認識している距離ＤＣ３よりも、実際の距離ＤＣ２のほうが長くなってしまうためである。

逆に、実際の自車両タイヤ外径が、タイヤパラメータ情報が示す自車両タイヤ外径よりも小さい場合には、自車両の実際の移動距離が、画像処理装置４が算出した移動距離よりも短くなる。このため、例えば図６に示すように、自車両とパイロンとの距離に関して、画像処理装置４が認識している距離ＤＣ２’（図６のパイロンＰＬ２’は後方表示領域Ｒ２に表示されない）よりも、実際の距離ＤＣ２（図６のパイロンＰＬ２は後方表示領域Ｒ２に表示される）のほうが短くなってしまう。これにより、後方表示領域Ｒ２と中間表示領域Ｒ３との境界付近で、車両の進行方向ＤＭに沿ってズレが生じてしまう。

また画像処理装置４は、複数の前方トップ画像および複数の後方トップ画像のそれぞれの中から、予め設定された計測用物体を検出する（Ｓ２５０〜Ｓ２７０，Ｓ２９０〜Ｓ３１０）。

さらに画像処理装置４は、共通する計測用物体を写した前方トップ画像および後方トップ画像が撮影された時刻の時間差を計測し、さらに当該時間差内に車両が走行した走行距離を前方トップ画像および後方トップ画像に写る共通の計測用物体に基づいて計測する（Ｓ２８０，Ｓ２９０，Ｓ３３０，Ｓ３４０）。

そして画像処理装置４は、計測された時間差および走行距離、並びに当該時間差内に回転したタイヤ回転角度に基づいて、更新用の自車両タイヤ外径を算出する（Ｓ３５０）。
このため画像処理装置４は、表示用トップビュー画像を作成するために必要な車載カメラ群２を用いて、自車両タイヤ外径を計測することができる。すなわち画像処理装置４は、自車両タイヤ外径を計測するための計測装置を新たに追加する必要がなく、画像処理装置４の構成を簡略化することができる。また画像処理装置４は、前方カメラ１１の撮影画像と後方カメラ１２の撮影画像とを比較しているため、タイヤが複数回回転した結果に基づいて自車両タイヤ外径を計測することができ、タイヤ外径の変化に伴う周長の変化を精度良く検出することができる。

また画像処理装置４は、車両が直進状態にあるか否かを判定し（Ｓ２３０）、直進中であると判定された場合に、タイヤパラメータ情報を更新する処理を行なう。これにより画像処理装置４は、直進時にのみ、タイヤパラメータ情報が示す値の算出を行うことになり、車両の左右方向のズレを実質無視してタイヤパラメータ情報の更新を行うことができ、タイヤパラメータ情報の正確性を向上させることができる。

また画像処理装置４は、車両の走行速度が予め設定された処理開始判定速度以下か否かを判定し（Ｓ２２０）、車両の走行速度が処理開始判定速度以下であると判定された場合に、タイヤパラメータ情報を更新する処理を行なう。これにより画像処理装置４は、低速時にのみ、タイヤパラメータ情報が示す値の算出を行うことになり、タイヤに生じるスリップの影響を低減することができ、タイヤパラメータ情報の正確性を確保し易くなる。

以上説明した実施形態において、前方カメラ１１と後方カメラ１２は本発明における撮影装置、Ｓ３０の処理は本発明における周辺画像取得手段、Ｓ８０の処理は本発明における算出手段、Ｓ１００，Ｓ１１０，Ｓ１２０の処理は本発明における合成画像作成手段、Ｓ２５０〜Ｓ３６０の処理は本発明におけるタイヤパラメータ更新手段である。

また、Ｓ２５０〜Ｓ２７０，Ｓ２９０〜Ｓ３１０の処理は本発明における計測用物体検出手段、Ｓ２８０，Ｓ２９０，Ｓ３３０，Ｓ３４０の処理は本発明における計測手段、Ｓ２３０の処理は本発明における直進判定手段、Ｓ２２０の処理は本発明における車速判定手段である。

（第２実施形態）
以下に本発明の第２実施形態を図面とともに説明する。なお第２実施形態では、第１実施形態と異なる部分を説明する。

第２実施形態の車両用表示システム１は、タイヤパラメータ更新処理が変更された点以外は第１実施形態と同じである。
第２実施形態のタイヤパラメータ更新処理は、Ｓ２７０〜Ｓ２９０，Ｓ３２０〜Ｓ３６０の処理が省略されるとともに、Ｓ４１０〜Ｓ４９０の処理が追加された点以外は第１実施形態と同じである。

すなわち図７に示すように、計測用物体を検出した場合には（Ｓ２６０：ＹＥＳ）、Ｓ４１０にて、Ｓ８０と同様にして、自車両の移動距離と移動方向を算出する。そしてＳ４２０にて、記憶部３４に記憶されている前方トップ画像を用いて、後方表示領域Ｒ２と中間表示領域Ｒ３を示す位置比較用画像を作成し、作成した位置比較用画像を、記憶部３４に設けられた位置比較用画像記憶領域に記憶した後に、Ｓ４３０に移行する。

Ｓ４２０では、Ｓ４１０で算出した移動距離と移動方向に基づいて、後方表示領域Ｒ２と中間表示領域Ｒ３を撮影している前方トップ画像を記憶部３４から抽出する。さらにＳ４２０では、抽出した前方トップ画像と中間領域とのズレに応じて、抽出した前方トップ画像を平行移動させたり回転移動させたりする座標変換を行うことにより、位置比較用画像を作成する。

次にＳ４３０にて、記憶部３４の位置比較用画像記憶領域に記憶された最新の位置比較用画像を用いて、画像認識処理を行うことにより、位置比較用画像に写っている計測用物体を検出する。

その後Ｓ４４０にて、自車両タイヤ外径を算出し、Ｓ４９０に移行する。具体的には、まず、Ｓ２５０で検出された後方トップ画像の計測用物体と、Ｓ４３０で検出された位置比較用画像の計測用物体との距離を用いて、自車両タイヤ外径の変化量を算出する。例えば図８に示すように、後方表示領域Ｒ２に表示されている計測用物体ＰＬ２と、中間表示領域Ｒ３に表示されている計測用物体ＰＬ３とが同一の計測用物体である場合には、計測用物体ＰＬ２と計測用物体ＰＬ３との距離ＤＣを用いて、自車両タイヤ外径の変化量を算出する。そして、記憶部３４に記憶されているタイヤパラメータ情報の値に対して、算出された変化量を加算または減算し、この加算値または減算値を、新たな自車両タイヤ外径とする。

また図７に示すように、Ｓ３１０にて、計測用物体を検出した場合には（Ｓ３１０：ＹＥＳ）、Ｓ４５０にて、Ｓ８０と同様にして、自車両の移動距離と移動方向を算出する。そしてＳ４６０にて、記憶部３４に記憶されている後方トップ画像を用いて、前方表示領域Ｒ１と中間表示領域Ｒ３を示す位置比較用画像を作成し、作成した位置比較用画像を、記憶部３４に設けられた位置比較用画像記憶領域に記憶した後に、Ｓ４７０に移行する。

Ｓ４７０では、Ｓ４５０で算出した移動距離と移動方向に基づいて、前方表示領域Ｒ１と中間表示領域Ｒ３を撮影している後方トップ画像を記憶部３４から抽出する。さらにＳ４７０では、抽出した後方トップ画像と中間領域とのズレに応じて、抽出した後方トップ画像を平行移動させたり回転移動させたりする座標変換を行うことにより、位置比較用画像を作成する。

次にＳ４７０にて、Ｓ４３０と同様にして、記憶部３４の位置比較用画像記憶領域に記憶された最新の位置比較用画像を用いて、画像認識処理を行うことにより、位置比較用画像に写っている計測用物体を検出する。

その後Ｓ４８０にて、Ｓ３００で検出された前方トップ画像の計測用物体と、Ｓ４７０で検出された位置比較用画像の計測用物体との距離を用いて、Ｓ４４０と同様にして、車両タイヤ外径を算出し、Ｓ４９０に移行する。

そしてＳ４９０に移行すると、記憶部３４に記憶されているタイヤパラメータ情報の値を、Ｓ４４０またはＳ４８０で算出した値に更新し、タイヤパラメータ更新処理を終了する。

このように構成された画像処理装置４は、現時点で取得した前方トップ画像または後方トップ画像と、記憶部３４に記憶された位置比較用画像のそれぞれの中から、予め設定された計測用物体を検出する（Ｓ２５０，Ｓ４２０，Ｓ３００，Ｓ４７０）。そして画像処理装置４は、現時点で取得した前方トップ画像または後方トップ画像に写る計測用物体と位置比較用画像に写った計測用物体とのズレが低減されるように、タイヤパラメータ情報を更新する（Ｓ４４０，Ｓ４８０，Ｓ４９０）。

このため画像処理装置４は、表示用トップビュー画像を作成するために必要な車載カメラ群２を用いて、自車両タイヤ外径を計測することができる。すなわち画像処理装置４は、自車両タイヤ外径を計測するための計測装置を新たに追加する必要がなく、画像処理装置４の構成を簡略化することができる。

以上説明した実施形態において、Ｓ２５０，Ｓ４２０，Ｓ３００，Ｓ４７０の処理は本発明における計測用物体検出手段、Ｓ４４０，Ｓ４８０，Ｓ４９０の処理は本発明におけるタイヤパラメータ更新手段である。

（第３実施形態）
以下に本発明の第３実施形態を図面とともに説明する。なお第３実施形態では、第１実施形態と異なる部分を説明する。

第３実施形態の車両用表示システム１は、タイヤパラメータ更新処理が変更された点以外は第１実施形態と同じである。
第３実施形態のタイヤパラメータ更新処理は、画像処理装置４の動作中において予め設定された実行周期毎に繰り返し実行される処理である。

このタイヤパラメータ更新処理が実行されると、制御部３５は、図９に示すように、まずＳ６１０にて、予め設定された処理開始条件が成立したか否かを判断する。本実施形態の処理開始条件は、車室内に設けられたタイヤパラメータ更新ボタンが押し下げられることである。

ここで、処理開始条件が成立していない場合には（Ｓ６１０：ＮＯ）、タイヤパラメータ更新処理を一旦終了する。一方、処理開始条件が成立した場合には（Ｓ６１０：ＹＥＳ）、Ｓ６２０にて、Ｓ７０と同様にして、自車両のシフト位置がＰまたはＮであるか否かを判断する。ここで、シフト位置がＰまたはＮである場合には（Ｓ６２０：ＹＥＳ）、Ｓ６２０の処理を繰り返す。

またＳ６２０にて、シフト位置がＰとＮのどちらでもない場合には（Ｓ６２０：ＮＯ）、Ｓ６３０にて、Ｓ８０と同様にして、自車両の移動距離を算出する。
そしてＳ６４０にて、Ｓ９０と同様にして、自車両のシフト位置がＤであるか否かを判断する。ここで、シフト位置がＤである場合には（Ｓ６４０：ＹＥＳ）、Ｓ６５０にて、Ｓ１００と同様にして、記憶部３４に記憶されている前方トップ画像を用いて中間トップ画像を作成し、作成した中間トップ画像を、記憶部３４に設けられた中間トップ画像記憶領域に記憶した後に、Ｓ６７０に移行する。

一方、自車両のシフト位置がＤでない場合には（Ｓ６４０：ＮＯ）、自車両のシフト位置がＲであると判断し、Ｓ６６０にて、Ｓ１１０と同様にして、記憶部３４に記憶されている後方トップ画像を用いて、中間トップ画像を作成し、作成した中間トップ画像を中間トップ画像記憶領域に記憶した後に、Ｓ６７０に移行する。

そしてＳ６７０に移行すると、取得した車速信号に基づいて、自車両が、現時点から予め設定された速度判定期間前までの間、一定の速度で走行しているか否かを判断する。ここで、自車両が一定の速度で走行していない場合には（Ｓ６７０：ＮＯ）、Ｓ６２０に移行する。

一方、自車両が一定の速度で走行している場合には（Ｓ６７０：ＹＥＳ）、Ｓ６８０にて、現時点から速度判定期間前までの間にＳ３０で取得した複数の前方トップ画像と複数の後方トップ画像からオプティカルフローを検出する。

そしてＳ６９０にて、Ｓ６８０で検出したオプティカルフローを用いて、前方トップ画像と後方トップ画像に写る移動物体（図１０の移動物体ＭＯ１，ＭＯ２，ＭＯ３，ＭＯ４，ＭＯ５を参照）の速度ベクトル（図１０のベクトルＶ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５を参照）を算出する。

次にＳ７００にて、現時点から速度判定期間前までの間にＳ６５０またはＳ６６０で作成した複数の中間トップ画像からオプティカルフローを検出する。
そしてＳ７１０にて、Ｓ７００で検出したオプティカルフローを用いて、中間トップ画像に写る移動物体（図１０の移動物体ＭＯ６，ＭＯ７を参照）の速度ベクトル（図１０のベクトルＶ６，Ｖ７を参照）を算出する。

その後Ｓ７２０にて、Ｓ６８０とＳ７００で検出したオプティカルフローで得られた速度ベクトルの数と方向に基づいて、Ｓ６９０とＳ７１０で算出された速度ベクトルが有効であるか否かを判断する。ここで、速度ベクトルが有効でない場合には（Ｓ７２０：ＮＯ）、Ｓ６２０に移行する。

一方、速度ベクトルが有効である場合には（Ｓ７２０：ＹＥＳ）、Ｓ７３０にて、Ｓ６９０とＳ７１０で算出された速度ベクトルを用いて、下式（１）により、自車両タイヤ外径Ｘを算出する。なお、下式（１）において、Ｌは、記憶部３４に記憶されているタイヤパラメータ情報が示す自車両タイヤ外径である。ｖは、Ｓ６９０で算出された速度ベクトルの大きさである。ｖ’ は、Ｓ７１０で算出された速度ベクトルの大きさである。

Ｘ ＝ Ｌ×ｖ／ｖ’ ・・・（１）
そしてＳ７４０にて、記憶部３４に記憶されているタイヤパラメータ情報の値を、Ｓ７３０で算出した自車両タイヤ外径Ｘの値に更新し、タイヤパラメータ更新処理を終了する。

このように構成された画像処理装置４は、前方トップ画像と後方トップ画像の中で移動する物体の移動速度（以下、第１移動速度という）を検出する（Ｓ６８０，Ｓ６９０）。また画像処理装置４は、中間トップ画像の中で移動する物体の移動速度（以下、第２移動速度という）を検出する（Ｓ７００，Ｓ７１０）。そして画像処理装置４は、第１移動速度と第２移動速度に基づいて、更新用の自車両タイヤ外径を算出する（Ｓ７３０）。

このため、画像処理装置４は、前方トップ画像と後方トップ画像の中で実際に移動する物体の移動速度（第１移動速度）と、中間トップ画像の中で実際に移動する物体の移動速度（第２移動速度）とが一致するようにタイヤパラメータ情報の更新を行なうことができる。

これにより画像処理装置４は、実際に合成する前方トップ画像および後方トップ画像と中間トップ画像との繋がりをスムーズにすることができ、違和感の低減された表示用トップビュー画像の生成を実現できる。

以上説明した実施形態において、Ｓ６８０，Ｓ６９０の処理は本発明における第１移動速度検出手段、Ｓ７００，Ｓ７１０の処理は本発明における第２移動速度検出手段、Ｓ７３０，Ｓ７４０の処理は本発明におけるタイヤパラメータ更新手段である。

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
（変形例１）
例えば上記実施形態では、車速が低速走行判定速度以下の場合に、表示用トップビュー画像が表示装置５の表示画面に表示されるものを示したが、車速に関わらず表示用トップビュー画像を表示するようにしてもよい。

（変形例２）
また上記実施形態では、タイヤパラメータ情報がタイヤ外径を示すものを示したが、タイヤパラメータ情報は、タイヤ外径を特定可能な情報であればこれに限定されるものではなく、例えば、タイヤの周長を示す値であってもよいし、基準としている外径または周長を補正するための補正値であってもよい。

（変形例３）
また上記実施形態では、計測用物体を検出した前方トップ画像の撮影タイミングと後方トップ画像の撮影タイミングとの間の時間差に基づいて、自車両のタイヤの外径を算出するものを示した。しかし、前方トップ画像と後方トップ画像の計測用物体の代わりに輝度変化パターンを用いて、自車両のタイヤの外径を算出するようにしてもよい。例えば図１１に示すように、前方トップ画像において自車両の進行方向ＤＭに沿って輝度が変化する輝度変化パターンＰＢ１を検出したとする。この輝度変化パターンＰＢ１は、例えば、道路の車線を区画している例えば破線状の白線ＷＬ（車道中央線）により発生する。その後、後方トップ画像において、輝度変化パターンＰＢ１と同一の波形を有する輝度変化パターンＰＢ２を検出した場合に、前方トップ画像の撮影時刻と後方トップ画像の撮影時刻との時間差と、自車両の車速とに基づいて、自車両のタイヤの外径を算出することができる。

具体的には、まず、輝度変化パターンＰＢ１を検出した前方トップ画像の撮影タイミングと輝度変化パターンＰＢ２を検出した後方トップ画像の撮影タイミングとの間の時間差（前後時間差）と、車速信号とにより、前後時間差で自車両のタイヤが回転した角度（前後タイヤ回転角度）を算出する。

さらに、前方トップ画像内で輝度変化パターンＰＢ１が写っている位置と、後方トップ画像内で輝度変化パターンＰＢ２が写っている位置とに基づいて、自車両が前後時間差内で走行した距離（前後走行距離）を算出する。そして、前後走行距離と前後タイヤ回転角度とに基づいて、自車両タイヤ外径を算出する。具体的には、前後走行距離と前後タイヤ回転角度とに基づいて、タイヤが３６０°回転する間に走行する距離をタイヤの周長として算出し、このタイヤの周長をπで除算した値を、自車両タイヤ外径とする。

（変形例４）
また上記実施形態では、予め設定された処理開始判定距離を自車両が走行したことを処理開始条件としたものを示した。しかし、タイヤ交換を検出したことを処理開始条件としてもよい。また、タイヤの空気圧が変動したことを処理開始条件としてもよい。例えば、給油を検知した場合に、タイヤの空気圧が上昇したと判断するようにしてもよい。また、前回の処理開始条件の成立から予め設定された処理開始判定時間が経過することを処理開始条件としてもよい。また、タイヤパラメータ更新処理を開始させるために予め設定された処理開始操作（例えば、タイヤ外径の算出のために設けられた操作ボタンの操作）を運転者が行うことを処理開始条件としてもよい。

また、上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

１…車両用表示システム、２…車載カメラ群、３…センサ群、４…画像処理装置、１１…前方カメラ、１２…後方カメラ、３１…画像入力信号処理部、３２…入力信号処理部、３３…画像変換部、３４…記憶部、３５…制御部、３６…画像出力信号処理部

Claims (7)

1. 車両に設置された複数の撮影装置によって撮像される前記車両の周辺の画像から、当該車両の周囲を上方から俯瞰視した車両周辺画像を生成する車両用画像処理装置（４）であって、
   前記車両の前方領域を連続して撮影する前方撮影装置（１１）、及び前記車両の後方領域を連続して撮影する後方撮影装置（１２）、のそれぞれから前方撮影画像及び後方撮影画像を取得する周辺画像取得手段（Ｓ３０）と、
   前記車両のタイヤの回転角度に係る情報を含む車両状態情報、及び記憶部（３４）に記憶された前記タイヤの外径に係るパラメータ情報、を用いて前記車両の移動距離を算出する算出手段（Ｓ８０）と、
   前記前方撮影画像及び前記後方撮影画像のうちで前記車両の進行方向を写す一方の過去の画像を履歴画像として使用し、前記前方撮影画像及び前記後方撮影画像のうちの他方の画像に前記移動距離に基づいて前記履歴画像を合成することにより、前記車両周辺画像を作成する合成画像作成手段（Ｓ１００，Ｓ１１０，Ｓ１２０）と、
   前記移動距離に基づいて合成された前記履歴画像と、前記他方の画像とのずれが低減されるように、前記記憶部に記憶された前記パラメータ情報を更新するタイヤパラメータ更新手段（Ｓ２５０〜Ｓ３６０，Ｓ４４０，Ｓ４８０，Ｓ４９０）とを備える
   ことを特徴とする車両用画像処理装置。
2. 前記周辺画像取得手段によって繰り返し取得された複数の前記前方撮影画像及び複数の前記後方撮影画像のそれぞれの中から、予め設定された計測用物体を検出する計測用物体検出手段（Ｓ２５０〜Ｓ２７０，Ｓ２９０〜Ｓ３１０）と、
   共通する前記計測用物体を写した前記前方撮影画像及び前記後方撮影画像が撮影された時刻の時間差を計測し、さらに当該時間差内に前記車両が走行した走行距離を前記前方撮影画像及び前記後方撮影画像に写る共通の前記計測用物体に基づいて計測する計測手段（Ｓ２８０，Ｓ２９０，Ｓ３３０，Ｓ３４０）と、を備え、
   前記タイヤパラメータ更新手段（Ｓ２５０〜Ｓ３６０）は、前記計測手段によって計測された前記時間差及び前記走行距離、並びに当該時間差内に回転した前記タイヤの回転角度に基づいて、更新用の前記パラメータ情報を算出する
   ことを特徴とする請求項１に記載の車両用画像処理装置。
3. 前記周辺画像取得手段によって繰り返し取得された前記他方の画像、及び前記記憶部に記憶された前記履歴画像のそれぞれの中から、予め設定された計測用物体を検出する計測用物体検出手段（Ｓ２５０，Ｓ４２０，Ｓ３００，Ｓ４７０）、を備え、
   前記タイヤパラメータ更新手段（Ｓ４４０，Ｓ４８０，Ｓ４９０）は、前記他方の画像に写る前記計測用物体と前記履歴画像に写った前記計測用物体とのズレが低減されるように、前記パラメータ情報を更新する
   ことを特徴とする請求項１に記載の車両用画像処理装置。
4. 前記記憶部には、前記他方の画像に写る範囲を撮影した前記履歴画像を格納する格納領域が確保されている
   ことを特徴とする請求項３に記載の車両用画像処理装置。
5. 前記車両が直進状態にあるか否かを判定する直進判定手段（Ｓ２３０）を備え、
   前記タイヤパラメータ更新手段は、前記直進判定手段によって直進中であると判定された場合に、前記パラメータ情報を更新する処理を行なう
   ことを特徴とする請求項１から４のいずれか一項に記載の車両用画像処理装置。
6. 前記車両の走行速度が予め設定された判定速度以下か否かを判定する車速判定手段（Ｓ２２０）を備え、
   前記タイヤパラメータ更新手段は、前記車速判定手段によって前記車両の走行速度が前記判定速度以下であると判定された場合に、前記パラメータ情報を更新する処理を行なう
   ことを特徴とする請求項１から５のいずれか一項に記載の車両用画像処理装置。
7. 前記他方の画像の中で移動する物体の移動速度である第１移動速度を検出する第１移動速度検出手段（Ｓ６８０，Ｓ６９０）と、
   前記履歴画像の中で移動する物体の移動速度である第２移動速度を検出する第２移動速度検出手段（Ｓ７００，Ｓ７１０）とを備え、
   前記タイヤパラメータ更新手段（Ｓ７３０，Ｓ７４０）は、前記第１移動速度と前記第２移動速度に基づいて、更新用の前記パラメータ情報を算出する
   ことを特徴とする請求項１に記載の車両用画像処理装置。