JP6895371B2 - 情報処理装置及びサスペンション制御方法 - Google Patents

Description

本発明は、ステレオカメラを用いて路面の高さ等の路面状態を検出する情報処理装置及びサスペンション制御方法に関する。

アクティブサスペンションシステムの制御方式として、車両前方の路面状況を検出しサスペンションの諸特性を適正に制御するプレビュー制御がある。車両前方の路面状況を検出する方法として、２台のステレオカメラで撮像した車両前方の路面像の視差情報を用いるステレオ法が知られている。

このステレオ法を用いて路面の段差を検出する方式として、例えば、特許文献１には、路面をステレオ撮影した第１の画像と第２の画像とをＸＹ平面座標に投影し、当該平面座標上に特定の座標（Ｘ、Ｙ）を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差ｖ１を算出し、第２の画像に視差ｖ１を差し引いた座標（Ｘ−ｖ１、Ｙ）を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する技術が記載されている。

特開２０１４−８９５４８号公報

しかしながら、上記の路面高さの検出方法では、ステレオ画像のステレオマッチングにおいて、異なる位置の像であるにも関わらず、２つのカメラで捕らえられた各々の像がたまたま似ているために、同じ位置の像であると誤判定されるミスマッチなどに起因して、エラー情報が発生する可能性がある。そこで、ステレオ法を用いて生成される路面高さに関するデータを車両のサスペンション制御などに利用する場合には、検出データからエラー情報をいかに除去するかが重要となってくる。

以上のような事情に鑑み、本発明の目的は、ステレオ法を用いて生成される路面の高さに関するデータからエラー情報を効果的に除去して、データに基づく制御の信頼性の向上を図ることのできる情報処理装置およびサスペンション制御方法を提供することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、演算処理回路を有する。上記演算処理回路は、路面を撮像するステレオカメラによって撮像されたステレオ画像に基づき上記路面上の複数の検出対象点について、上記ステレオカメラからの距離と上記路面からの高さを検出データとしてそれぞれ生成し、上記距離と上記高さの検出データからなるデータ空間を所定の距離と所定の高さの二次元に区分する区分空間毎に上記検出データの数を計数し、この計数結果に基づいて、当該区分空間における検出データの有効性を判定する。

本発明にかかる情報処理装置は、演算処理回路が、区分空間内の検出データの有効性を、その区分空間内に存在する検出データの数をもとに判定する。これにより、複数の検出対象点のデータ群から、ステレオマッチングで発生し得るエラー情報が無効化され、精度のより高い路面変位情報が得られる。

上記演算処理回路は、上記データ空間の上記区分空間毎の検出データの数が所定の閾値より大きい場合には当該区分空間内の検出データを有効と判定し、上記閾値以下である場合には当該区分空間内の検出データを無効と判定してもよい。

上記演算処理回路は、上記区分空間に関する情報の入力を受け付け、入力された上記情報に基づき上記区分空間を設定してもよい。
これにより、データ空間を区分する区分空間の数や大きさ等が任意に設定可能となる。

上記演算処理回路は、上記区分空間の大きさに関する情報の入力を受け付け、入力された当該情報に基づき上記区分空間の大きさを設定し、大きさが変更された上記区分空間内の検出データの有効性を判定してもよい。
これにより、検出データの有効性を判定する際の精度を向上させることができる。

上記演算処理回路は、上記閾値に関する情報の入力を受け付け、入力された当該情報に基づき上記閾値を設定してもよい。これにより、検出データの有効性を評価するための適切な閾値の調整が可能となる。

本発明の他の形態に係るサスペンション制御方法は、車両が走行する路面を撮像するステレオカメラによって撮像されたステレオ画像に基づき上記路面上の複数の検出対象点について、上記ステレオカメラからの距離と上記路面からの高さを検出データとしてそれぞれ生成し、上記距離と上記高さの検出データからなるデータ空間を所定の距離と所定の高さの二次元に区分する区分空間毎に上記検出データの数を計数し、この計数結果に基づいて、当該区分空間における検出データの有効性を判定し、有効と判定された検出データに基づいて上記車両のサスペンションを制御するものである。

以上のように、本発明によれば、ステレオ法を用いて生成される路面の高さに関するデータからエラー情報を効果的に除去して、データに基づく制御の信頼性の向上を図ることができる。

ステレオカメラと検出対象点を含む路面を上から示す図である。 ステレオカメラと検出対象点を含む路面を側方から示す図である。 本発明に係る一実施形態の路面変位検出装置の構成を示すブロック図である。 画像空間におけるタイヤ予想走行軌跡を示す図である。 画像の座標空間における複数の検出対象点を示す図である。 画像の座標空間における複数の検出対象点を示す図である。 本実施形態の情報処理装置による情報処理方法の手順を示すフローチャートである。 検出データからエラー情報を除去する処理のフローチャートである。 データ空間に複数の検出データがプロットされた結果である路面変位プロファイルを可視化して示す図である。 データ空間に複数の検出データがプロットされた結果である路面変位プロファイルを可視化して示す図である。 上記実施形態のユーザーインターフェースの一例を示す図である。

以下、図面を参照しながら、本発明の一実施形態を説明する。
本実施形態は、例えば路面変位検出装置等に本発明に係る情報処理装置を採用したものである。そこで、先ず路面変位検出装置について説明する。

［概要］
本実施形態の路面変位検出装置は、車両が走行する路面の凹凸をステレオカメラによって撮影された複数の画像を用いたステレオ法を利用して検出する装置である。

ステレオカメラは、複数例えば２つのカメラを有する。複数のカメラは各々、車両の前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。

複数のカメラにより各々撮像された画像は演算処理回路によって処理される。演算処理回路は、各画像と、各カメラのパラメータ情報、さらには各画像から得られる視差情報をもとに、ステレオカメラから路面の検出対象点までの距離を算出し、算出された距離から路面上の検出対象点の高さ（路面変位量）を算出する。

図１および図２はステレオカメラから路面上の検出対象点までの距離および高さの算出方法の説明図である。図１は各カメラと検出対象点を含む路面を上から示す図であり、図２は各カメラと検出対象点を含む路面を側方から示す図である。

図１において路面の検出対象点Ｋは、図２に示すようにカメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌから角度θだけ下方に傾いた方向に見える。カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの距離Ｄは下記式（１）により算出される。
Ｄ＝（ｄ・ｆ）／（ｘ２−ｘ１）・・・（１）
ここで、ｄはカメラ間距離、ｆはレンズの焦点距離である。ｘ２−ｘ１は視差であり、ｘ１は一方のカメラ１０Ｌの画像における検出対象点Ｋの像のｘ座標の値、ｘ２は他方のカメラ１０Ｒの画像における検出対象点Ｋの像のｘ座標の値である。

カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの向きが水平である場合、カメラ１０Ｒ、１０Ｌから検出対象点Ｋまでの水平方向（Ｙ軸方向）の距離Ｌは、下記式（２）により算出される。
Ｌ＝Ｄｃｏｓθ・・・（２）

また、検出対象点Ｋの高さｈは、下記式（３）により算出される。
ｈ＝Ｈ−Ｄｓｉｎθ・・・（３）
ここで、図２に示すように、Ｈは、カメラ１０Ｒ、１０Ｌの光軸１１Ｒ、１１Ｌの路面からの高さである。

このように、ステレオ法を利用して、ステレオカメラから路面上の検出対象点Ｋまでの距離Ｌと高さｈを路面変位情報として算出することができる。

上記の路面変位検出方法により算出された路面変位情報を、例えば車両のアクティブサスペンションのプレビュー制御などに用いる場合、ステレオマッチングにおいて確率的に発生し得るエラー情報が路面変位情報に存在する場合がある。

このような課題を解決するために、本発明の最良の形態である路面変位検出装置は、
路面を撮像するステレオカメラと、
ステレオカメラによって撮像されたステレオ画像に基づき路面上の複数の検出対象点について、ステレオカメラからの距離と路面からの高さを検出データとしてそれぞれ生成し、上記距離と上記高さの検出データからなるデータ空間を所定の距離と所定の高さの二次元に区分する区分空間毎に検出データの数を計数し、この計数結果に基づいて、当該区分空間における検出データの有効性を判定する演算処理回路と
を具備して構成されるものである。
以下、本発明にかかる最良の形態である路面変位検出装置の構成をより詳細に説明する。

[路面変位検出装置の構成]
図３は、本実施形態の路面変位検出装置１の構成例を示すブロック図である。同図に示すように、本実施形態の路面変位検出装置１は、ステレオカメラ１０と、演算処理回路２０と、メモリ３０とを備える。なお、メモリ３０は演算処理回路２０に設けられてもよい。

ステレオカメラ１０は、２つのカメラ１０Ｒ，１０Ｌを有する。２つのカメラ１０Ｒ，１０Ｌは、車両の前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。

カメラ１０Ｒ、１０Ｌは、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。各々のカメラ１０Ｒ、１０Ｌにより各々得られた撮像信号は演算処理回路２０に供給される。

演算処理回路２０は、メモリ３０を用いて路面変位検出のための演算処理を行うデバイスである。演算処理回路２０は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などにより構成される。これに限らず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などの、他の集積回路により構成されたものであってもよい。

演算処理回路２０は、機能的に画像処理部２１と、路面変位算出部２２とを有する。

画像処理部２１は、ステレオカメラ１０より供給された２つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の撮像信号からのノイズ消去などのフィルタ処理などを行う。さらに、画像処理部２１は、前処理が施された一方の画像を基準画像、他方の画像を比較画像として各々の画像の対応関係を探索（ステレオマッチング）し、２つの画像の視差情報を生成する。

路面変位算出部２２は、路面変位算出部２２は、ステレオカメラ１０の画像空間において車両の左右のタイヤがこれから辿ることが予測される２本のタイヤ予想走行軌跡の座標を算出する。

図４は画像空間におけるタイヤ予想走行軌跡を示す図である。これらのタイヤ予想走行軌跡６１Ｒ、６１Ｌは、車両のタイヤの左右の間隔と、ステレオカメラ１０の位置などから、マージンを含めたおおよその位置として求められればよい。

また、路面変位算出部２２は、車両に設けられた舵角センサ（図示略）によって検出された車両の舵角情報をもとにタイヤ予想走行軌跡６１Ｒ、６１Ｌを算出することも可能である。

路面変位算出部２２は、算出されたタイヤ予想走行軌跡において、ステレオカメラ１０からの距離Ｌが異なる複数の検出対象点の路面の高さｈを、視差情報を用いて算出する。ここで、検出対象点毎の距離Ｌと路面の高さｈを検出データ（路面変位情報）と呼ぶ。路面変位算出部２２は、複数の検出対象点の検出データ群から、ステレオマッチングで発生し得るエラー情報を除去する処理を含む種々のフィルタ処理を施し、フィルタ処理が施された路面変位情報をサスペンションシステム６０に供給する。路面変位情報からエラー情報を除去する方法については後で詳しく説明する。

（検出対象点について）
図５及び図６は、画像の座標空間における複数の検出対象点を示す図である。本実施形態では、タイヤ予想走行軌跡上の各座標を複数の検出対象点Ｋとするが、用途に合わせて検出対象点Ｋの数を調整してもよい。例えば、検出対象点Ｋは、図５に示すように、路面変位量が零である場合を仮定したとき路面が略均等な距離に区分されるような間隔で設定されてよい。

あるいは、図６に示すように、ステレオ法の性質上、ステレオカメラ１０に近い検出対象点ほど精度が高くなることから、ステレオカメラ１０からの距離Ｌが近いほど間隔が小さくなるように複数の検出対象点Ｋが設定されてもよい。

[路面変位検出装置の動作]
次に、本実施形態の路面変位検出装置１の動作を説明する。図７は、路面変位検出装置の動作の流れを示すフローチャートである。

先ず、ステレオカメラ１０の２つのカメラ１０Ｒ、１０Ｌによって各々撮像された撮像信号は演算処理回路２０に供給される。演算処理回路２０は、画像処理部２１にて、前処理として、各々の撮像信号に対して歪み補正、撮像信号からのノイズの消去などのフィルタ処理を行った後、２つの画像の対応関係を探索（ステレオマッチング）することによって、２つの画像の視差情報を生成し、当該視差情報をメモリ３０に保存する（ステップＳ１０１）。

次に、路面変位算出部２２は、画像の座標空間におけるタイヤ予想走行軌跡の座標を算出し、このタイヤ予想走行軌跡上においてステレオカメラ１０からの距離Ｌが異なる複数の検出対象点Ｋの座標を算出する。

次いで、路面変位算出部２２は、タイヤ予想走行軌跡上の各々の検出対象点Ｋの座標に対応する視差情報をメモリ３０から読み出し、この視差情報をもとに、各々の検出対象点Ｋの、ステレオカメラ１０からの距離Ｌおよび路面からの高さｈを算出し、距離Ｌと高さｈの組み合わせを検出データ（路面変位情報）としてメモリ３０に保存する（ステップＳ１０２）。

次に路面変位算出部２２は、検出データからステレオマッチングで発生し得るエラー情報を除去する処理を含む各種のフィルタ処理を行う（ステップＳ１０３）。ステレオマッチングで発生し得るエラー情報は、例えば、異なる位置の像であるにも関わらず、２つのカメラで捕らえられた各々の像がたまたま似ているために、同じ位置の像であると誤判定されること（ミスマッチ）などに起因する。

（検出データからのエラー情報除去について）
図８はメモリ３０に保存された検出データのなかから上記のようなエラー情報を除去することによって有効な検出データを生成する動作のフローチャートである。

路面変位算出部２２は、まず、メモリ３０に保存された各検出データを、横軸にステレオカメラ１０からの距離Ｌを割り当て、縦軸に路面からの高さｈを割り当てた二次元空間（データ空間Ａ）を縦横に区分する複数の区分空間Ａ１毎の検出データに分類する（ステップＳ２０１）。

図９は二次元空間（データ空間Ａ）に、ステレオカメラ１０からの距離Ｌが４８００ｍｍから５６００ｍｍまでの範囲で得られた各検出データをプロットして可視化した状態を示す図である。この例では、二次元空間（データ空間Ａ）に路面上の障害物による有効な検出データＤとエラー情報Ｅ（無効な検出データ）が混在する状態を示している。

なお、本実施形態では、データ空間Ａが縦横同じサイズの複数の区分空間Ａ１に分類されることとしたが、各々の区分空間Ａ１の縦横サイズは必ずしもすべて同じである必要はない。区分空間Ａ１をどのように設定するかについては後で説明するが、１つの方法としては、ユーザーが任意に縦横の値を決める方法などがある。あるいは、区分空間Ａ１の縦横サイズは、例えば車速などの外的な条件に応じてリアルタイムに変更されてもよい。例えば、車速が高速になるにつれて、区分空間Ａ１の例えば距離Ｌ（横のサイズ）を長くする方法などが考えられる。

図８のフローチャートの説明に戻る。路面変位算出部２２は、各々の区分空間Ａ１毎の検出データ数を計数する（ステップＳ２０２）。次に、路面変位算出部２２は、区分空間Ａ１毎の検出データの数を予め設定された閾値と比較し（ステップＳ２０３）、区分空間Ａ１の検出データの数が閾値よりも大きい場合（ステップＳ２０３のＹＥＳ）、その区分空間Ａ１の検出データを有効な（エラーではない）検出データとして判定し（ステップＳ２０４）、閾値以下である場合にはその区分空間Ａ１の検出データをエラー情報として判定する（ステップＳ２０５）。図９の例は、閾値を"２"に設定した場合を想定して、例えば路面上の障害物などによる有効な路面変位の検出データＤとエラー情報Ｅとの判別が行われた場合を示している。ここで、エラー情報Ｅとして判定された検出データは、例えばメモリ３０から消去されてもよい。

なお、閾値はユーザーが任意に決められるようにしてもよい。あるいは、閾値は、例えば車速などの外的な条件に応じてリアルタイムに変更されてもよい。例えば、車速が高速になるにつれて、閾値を低くする方法などが考えられる。

このようにして、メモリ３０に保存された各検出データにおいて、図１０に示すように、例えば路面上の障害物などによる有効な路面変位の検出データＤをフィルタ処理の結果として得ることができる。

図７のフローチャートに戻る。フィルタ処理の結果として得られた有効な検出データは、例えば、車両のサスペンションシステム６０に路面変位情報として供給され、フルアクティブサスペンション又はセミアクティブサスペンションのプレビュー制御に供される（ステップＳ１０４）。
以上の処理は、例えば、所定の距離毎あるいは時間毎に繰り返される。

[区分空間と閾値の設定]
本実施形態では、区分空間Ａ１の縦横サイズ、検出データの有効性評価のための閾値を人為的に設定することができる。以下、その詳細について説明する。

（区分空間の設定）
図１に示したように、本実施形態の路面変位検出装置１は演算処理回路２０に対して各種設定用のパラメータや各種の指令を入力可能な操作入力部７０を有する。操作入力部７０は、操作設定用の画面を有し、この画面に対するユーザーからのパラメータおよび指令の入力を受け付けることができる。
図１１は、パラメータ設定用の画面例を示す図である。ここでは、区分空間Ａ１の高さと長さのサイズが"Grid_H"と"Grid_W"の２種類のパラメータとして設定される。また、検出データの有効性評価のための閾値が"Grid_Th"として設定される。

このように、区分空間Ａ１の高さと長さのサイズ、検出データの有効性評価のための閾値をユーザーの側で所定の値に任意に設定したり、変更したりすることができることによって、エラー情報を除去するための最適なパラメータを選定することができる。

ここで、本実施形態の演算処理回路２０は、上述したように区分空間Ａ１の大きさ（高さ及び長さのサイズ）を変更した後、大きさが変更された区分空間Ａ１内の検出データの有効性を評価してもよい。
例えば、区分空間Ａ１の大きさが比較的小さい大きさに変更された場合、データ空間Ａを細かく区分できる。従って、検出データが密集する検出データ群に属さない検出データ（エラー情報Ｅと判定され得る検出データ）を捕えやすくなり、データ空間Ａにプロットされた複数の検出データ各々の有効性を判定する際の精度が向上する。
あるいは、区分空間Ａ１の距離（長さ：横のサイズ）を高さ（縦のサイズ）よりも長く設定した際には、高さ方向のノイズ（エラー情報Ｅ）をより除去することができるため、特にサスペンション制御時には好適である。

なお、データ空間Ａにおける区分空間Ａ１のサイズは、必ずしもすべて同一とする必要はない。区分空間Ａ１の位置によって区分空間Ａ１のサイズに差を設けることによって、検出データの数に対する評価の重み付けに差を設けてもかまわない。検出データの有効性評価のための閾値についても同様に、区分空間Ａ１の位置によって差を設けてよい。

また、本発明の路面変位検出装置は、路面を走行する車両に適用されるだけではなく、室内の床面等の走行面を移動する各種運搬用の機器やロボットなどにも適用することが可能であり、その他、ステレオカメラを搭載した移動する物体であれば適用され得るものである。

１・・・・路面変位検出装置
１０・・・ステレオカメラ
２０・・・演算処理回路
２１・・・画像処理部
２２・・・路面変位算出部
３０・・・メモリ
６０・・・サスペンションシステム
Ａ・・・データ空間
Ａ１・・・区分空間

Claims (6)

1. 路面を撮像するステレオカメラによって撮像されたステレオ画像に基づき前記路面上の複数の検出対象点について、前記ステレオカメラからの距離と前記路面からの高さを検出データとしてそれぞれ生成し、前記距離と前記高さの検出データからなるデータ空間を所定の距離と所定の高さの二次元に区分する区分空間毎に前記検出データの数を計数し、この計数結果に基づいて、当該区分空間における検出データの有効性を判定する演算処理回路
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記演算処理回路は、前記データ空間の前記区分空間毎の検出データの数が所定の閾値より大きい場合には当該区分空間内の検出データを有効と判定し、前記閾値以下である場合には当該区分空間内の検出データを無効と判定する
   情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記演算処理回路は、前記区分空間に関する情報の入力を受け付け、入力された前記情報に基づき前記区分空間を設定する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記演算処理回路は、前記区分空間の大きさに関する情報の入力を受け付け、入力された当該情報に基づき前記区分空間の大きさを設定し、大きさが変更された前記区分空間内の検出データの有効性を判定する
   情報処理装置。
5. 請求項１から４のいずれか１つに記載の情報処理装置であって、
   前記演算処理回路は、前記閾値に関する情報の入力を受け付け、入力された当該情報に基づき前記閾値を設定する
   情報処理装置。
6. 車両が走行する路面を撮像するステレオカメラによって撮像されたステレオ画像に基づき前記路面上の複数の検出対象点について、前記ステレオカメラからの距離と前記路面からの高さを検出データとしてそれぞれ生成し、前記距離と前記高さの検出データからなるデータ空間を所定の距離と所定の高さの二次元に区分する区分空間毎に前記検出データの数を計数し、この計数結果に基づいて、当該区分空間における検出データの有効性を判定し、有効と判定された検出データに基づいて前記車両のサスペンションを制御する
   サスペンション制御方法。

Images