JP2022011745A - 物体認識装置 - Google Patents

Abstract

【課題】物体認識装置の処理速度が遅くなるのを抑制する。【解決手段】車両の周囲に存在する他車両を認識するための物体認識装置３であって、認識した複数の他車両のうち、手前に存在する前記他車両によって一部が隠れている部分認識車両が存在しているか否かを判定し、部分認識車両が存在している場合において、部分認識車両の角部分が認識できているときは、部分認識車両の前後方向の長さ及び車幅方向の長さを、予め設定された前後方向及び車幅方向の長さとして、部分認識車両の角部分を基準に部分認識車両の中心位置を算出するように構成される。【選択図】図６

Description

本発明は物体認識装置に関する。

特許文献１には、従来の物体認識装置として、或る物体の一部が他物体の背後に隠れているときに、一部が隠れている物体が、例えば歩行者等の特定の検出対象であるか否かを、識別モデルを用いて識別するように構成されたものが開示されている。

特開２０１４－１６７７０２号公報

しかしながら、前述した従来の物体認識装置のように、識別モデルを用いて一部が隠れている物体の詳細な識別を行って、例えば当該物体の車両からの相対位置を算出したりすると、物体認識装置の処理負荷（演算量）が大きくなって、物体認識装置の処理速度が遅くなるおそれがある。

本発明は、このような問題点に着目してなされたものであり、物体認識装置の処理速度が遅くなるのを抑制することを目的とする。

上記課題を解決するために、車両の周囲に存在する他車両を認識するための本発明のある態様による物体認識装置は、認識された複数の他車両のうち、手前に存在する他車両によって一部が隠れている部分認識車両が存在しているか否かを判定し、部分認識車両が存在している場合において、部分認識車両の角部分が認識できているときは、部分認識車両の前後方向の長さ及び車幅方向の長さを、予め設定された前後方向及び車幅方向の長さとして、部分認識車両の角部分を基準に部分認識車両の中心位置を算出するように構成される。

本発明のこの態様による物体認識装置によれば、手前に存在する他車両によって一部が隠れている部分認識車両の中心位置を、当該部分認識車両の角部分を基準に簡易的に算出することができるので、物体認識装置の処理速度が遅くなるのを抑制することができる。

図１は、本発明の一実施形態による物体認識装置を備える車両のシステム概略図である。 図２は、測距センサの動作について説明する図である。 図３は、本発明の一実施形態による物体認識装置のハードウェア構成を示す図である。 図４は、車両の周囲に存在する他車両を、車両と共に情報表示画面に表示した場合の表示例を示す図である。 図５は、本発明の一実施形態による車間距離制御について説明するフローチャートである。 図６は、本発明の一実施形態による物体認識処理の詳細について説明するフローチャートである。 図７は、本発明の一実施形態による、部分認識車両の中心位置の算出方法について説明する図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

図１は、本発明の一実施形態による物体認識装置３を備える車両１００のシステム概略図である。

車両１００は、カメラ１と、測距センサ２と、物体認識装置３と、表示装置４と、車両制御装置５と、を備える。カメラ１、測距センサ２、物体認識装置３、表示装置４、及び車両制御装置５は、それぞれコントローラエリアネットワークといった規格に準拠した車内ネットワーク６を介して通信可能に接続される。

カメラ１は、車両１００の前方を向くように、例えば車両１００の車室内に取り付けられて、所定のフレームレート（例えば、１０［Ｈｚ］～４０［Ｈｚ］）で車両１００の前方領域を撮影し、その前方領域が写った画像（以下「カメラ画像」という。）を生成する。そしてカメラ１は、カメラ画像を生成する度に、生成したカメラ画像を、車内ネットワーク６を介して車両制御装置５に送信する。

測距センサ２は、車両１００の周囲の測距領域に対して、図２（Ａ）に示すように照射角度を異ならせた複数本のレーザ光又は電波を水平かつ平行に照射し、照射した各レーザ光の反射光又は照射した各電波の反射波を受信する。そして測距センサ２は、受信した反射光又は反射波に基づいて、測距領域内に存在する道路や障害物（例えば建物、道路上の先行車や後続車、対向車といった走行車両、停止車両、縁石、落下物、及び歩行者等）までの距離を計測する。この道路や障害物までの距離は、図２（Ｂ）に示すように、それぞれレーザ光又は電波の反射点（照射点）毎に取得されており、測距センサ２は、各反射点までの距離と各反射点の座標情報とを対応付けた上で、それらを測距データとして車内ネットワーク６を介して物体認識装置３に送信する。

レーザ光を照射する測距センサ２としては、例えばライダ（LiDAR；Light Detection And Ranging）が挙げられる。また電波を照射する測距センサ２としては、例えばミリ波レーダセンサが挙げられる。本実施形態では、図２（Ａ）に示すように、測距センサ２として車両１００のルーフに取り付けられたライダを用いている。

物体認識装置３は、測距データに基づいて、車両１００の周囲に存在する他車両を認識すると共に、認識した他車両の情報を、車内ネットワーク６を介して表示装置４及び車両制御装置５に送信する。具体的には物体認識装置３は、照射されたレーザ光等の反射波に基づいて検出された複数の反射点のうち、所定の条件を満たす反射点を同一物体から反射されたレーザ光等の反射点としてグルーピングすることによって、車両１００の周囲に存在する他車両を認識する。

図３は、この物体認識装置３のハードウェア構成を示す図である。

図３に示すように、物体認識装置３は、通信インターフェース３１と、記憶部３２と、処理部３３と、を備える。

通信インターフェース３１は、物体認識装置３を車内ネットワーク６に接続するためのインターフェース回路を備える。すなわち通信インターフェース３１は、車内ネットワーク６を介して測距センサ２と接続される。通信インターフェース３１は、測距センサ２から測距データを受信する度に、受信した測距データを処理部３３にわたす。

記憶部３２は、ＨＤＤ（Hard Disk Drive）や光記録媒体、半導体メモリ等の記憶媒体を有し、処理部３３での処理に用いられる各種のコンピュータプログラムやデータ等を記憶する。

処理部３３は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部３３は、記憶部３２に格納された各種のコンピュータプログラムを実行し、物体認識装置３の全体的な動作を統括的に制御するものであり、例えばＣＰＵ（Central Processing Unit）である。処理部３３は、通信インターフェース３１を介して受信した測距データに基づいて、車両１００の周囲に存在する他車両を認識するための物体認識処理を実行する。この物体認識処理の詳細については、図６及び図７を参照して後述する。

図１に戻り、表示装置４は、車両１００のドライバが視認できる位置に配置された情報表示画面を備える。情報表示画面は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどの各種のディスプレイである。図４に示すように、本実施形態による表示装置４は、物体認識装置３から送信されてきた他車両情報に基づいて、車両１００の周囲に存在する他車両を、車両１００と共に情報表示画面に表示する。

本実施形態では、物体認識装置３から表示装置４に送信されてくる他車両情報には、他車両の種別情報（乗用車やトラック、二輪車など）と、車両１００を基準とした他車両の位置情報（相対位置情報）と、が含まれており、他車両が乗用車であれば、図４に示すように、所定の乗用車用のアイコンが当該他車両の相対位置に表示される。同様にして、他車両がトラックであれば、所定のトラック用のアイコンが当該他車両の相対位置に表示され、図示はしてないが、他車両が二輪車であれば、所定の二輪車用のアイコンが当該他車両の相対位置に表示される。

車両制御装置５には、前述したカメラ画像や他車両情報の他にも、図示はしていないが、加速、操舵、及び制動に関する運転操作の一部又は全部を自動的に行う運転支援を実施するために必要な各種の情報（例えば、ドライバの外観情報や車両１００の現在位置情報、車速情報など）が入力される。そして車両制御装置５は、これらの情報に基づいて車両１００の運転計画を作成し、その運転計画に従って加速、操舵、及び制動に関する運転操作の一部又は全部を自動的に行う。なお、「加速、操舵、及び制動」は、例えば、「加速、減速、及び旋回」や「駆動、制動、及び操舵」などに置き換えてもよい。また図示はしないが、車両制御装置５も、物体認識装置３と同様のハードウェア構成をしており、通信インターフェース、記憶部、及び処理部を備えている。

ここで、車両制御装置５による運転支援中においては、車両側で把握している情報をドライバに開示して、車両側が把握している情報が正確であるかなどをドライバに伝えることが望ましい。そこで本実施形態では、図４に示したように、車両側で把握した車両１００の周囲に存在する他車両、すなわち物体認識装置３で認識した車両１００の周囲に存在する他車両を、表示装置４によって情報表示画面に表示させている。このように、車両１００の周囲に存在する他車両を情報表示画面に表示させるには、前述した車両１００を基準とした他車両の位置情報（相対位置情報）が必要となる。

そこで本実施形態では、図５に示すように、レーザ光等の反射波に基づいて検出された複数の反射点を適宜グルーピングして自車両１００の周囲に存在する他車両Ｘ１、Ｘ２、Ｘ３を認識し、グルーピングすることによって認識された他車両Ｘ１、Ｘ２、Ｘ３の中心位置を、当該他車両の相対位置として算出している。しかしながら、図５に示すように、手前に存在する他車両Ｘ１、Ｘ２に遮られて死角領域（図５の斜線の領域）が生じ、奥に存在する他車両Ｘ３の背面や側面の一部分の領域のみが反射点として検出される場合がある。

そして、図５に示すように、手前に存在する車両に遮られて、一部分の領域のみを検出している反射点に基づいてグルーピングが行われると、グルーピングすることによって認識された他車両Ｘ３の大きさが、実際よりも小さくなるおそれがある。そうすると、グルーピングすることによって認識された他車両Ｘ３の中心位置と、実際の中心位置と、にズレが生じることになる。

その結果、グルーピングすることによって認識された他車両の中心位置を、他車両の相対位置として情報表示画面に表示させていた場合には、情報表示画面に表示された他車両の位置が実際の位置からズレてしまい、ドライバに違和感を与えるおそれがある。例えば図５に示す例では、自車両１００から他車両Ｘ３を見たときに、情報表示画面には、他車両Ｘ３が実際の位置よりも手前側かつ左側に表示されることになる。

そこで例えば、他車両Ｘ３のように、手前に存在する車両に遮られて一部分の領域のみが認識されている車両（以下「部分認識車両」という。）が検出されたときには、例えば部分認識車両の種別（乗用車やトラック、二輪車など）の詳細な識別を、識別モデルを用いて行って、部分認識車両の中心位置を算出することが考えられる。

しかしながら、このように識別モデルを用いて部分認識車両の詳細な識別を行って当該部分認識車両の中心位置を算出すると、処理部３３の処理負荷（演算量）が大きくなって部分認識車両の中心位置を算出するまでに時間がかかり、リアルタイムに部分認識車両の中心位置を算出することができなくなるおそれがある。そして、リアルタイムに部分認識車両の中心位置を算出することができなくなると、情報表示画面に表示された部分認識車両の位置が実施の位置からズレることになる。

そこで本実施形態では、部分認識車両が検出された場合において、部分認識車両の角部分（前方に存在する部分認識車両であれば、当該車両の後端面の右端又は左端。後方に存在する部分認識車両であれば、当該車両の前端面の右端又は左端。）が認識できているときは、部分認識車両の角部分を基準に部分認識車両の中心位置を算出するようにした。具体的には図７を参照して後述するが、部分認識車両の前後方向の長さ及び車幅方向の長さを、予め設定された前後方向及び車幅方向の長さとして、部分認識車両の角部分を基準に部分認識車両の中心位置を算出するようにした。

車両の形状は、種別（乗用車、トラック、二輪車など）にかかわらず概ね長方形状である。そのため、部分認識車両の角部分が認識できているときには、部分認識車両の中心位置を、部分認識車両の角部分を基準に簡易的に算出することができるので、物体認識装置の処理速度が遅くなるのを抑制することができる。また、予め設定された前後方向及び車幅方向の長さを、例えば一般的な乗用車の長さとしていた場合には、仮に部分認識車両が乗用車であれば、部分認識車両の中心位置を精度良く算出することができる。

図６は、物体認識装置３の処理部３３において実行される、この本実施形態による物体認識処理の詳細について説明するフローチャートである。物体認識装置３は、測距センサ２から測距データを受信する度に、本ルーチンを実施する。

ステップＳ１において、物体認識装置３は、測距データに基づいて、グルーピングによる車両認識処理を実施する。具体的には物体認識装置３は、レーザ光等の反射波に基づいて検出された複数の反射点のうち、まず連続性のある反射点を統合する点群グルーピングを実施し、次に点群グルーピングによってグループ化された各グループ体同士の距離や相対速度から、各グループ体の中で同一物体であると判断可能なグループ体同士をさらに統合する物標グルーピングを実施する。

そして物体認識装置３は、物標グルーピングによってグループ化された物体の幅や長さ、向きなどに基づいて、車両１００との相対距離が短い手前の物体から、グループ化された物体が車両であるか否かを判別し、またグループ化された物体が車両であれば、その車両の種別を判別する。これにより、認識した手前に存在している車両によって遮られる死角領域（図５参照）を把握することができる。そこで本実施形態による物体認識装置３は、物標グルーピングによってグループ化された物体のうち、死角領域の境界と接している物体があれば、その物体は、部分認識車両として検出する。

ステップＳ２において、物体認識装置３は、ステップＳ２の車両認識処理で、部分認識車両が検出されたか否かを判定する。物体認識装置３は、部分認識車両が検出されていれば、ステップＳ３の処理に進む。一方で物体認識装置３は、部分認識車両が検出されていなければ、ステップＳ６の処理に進む。

ステップＳ３において、物体認識装置３は、図７に示すように、部分認識車両の角部分が認識できているか否かを判定する。物体認識装置３は、部分認識車両の角部分が認識できていれば、ステップＳ４の処理に進む。一方で物体認識装置３は、部分認識車両の角部分が認識できていなければ、ステップＳ５の処理に進む。

ステップＳ４において、物体認識装置３は、図７に示すように、部分認識車両の角部分を基準に部分認識車両の中心位置を算出する。具体的には、部分認識車両の前後方向の長さ及び車幅方向の長さを、予め設定された前後方向及び車幅方向の長さとして、部分認識車両の角部分を基準に部分認識車両の中心位置を算出する。

ステップＳ５において、物体認識装置３は、部分認識車両の角部分が認識できないため、以下のようにして部分認識車両の中心位置を算出する。すなわち、前方に存在する部分認識車両の角部分が認識できていないときというのは、部分認識車両の側面（右側面若しくは左側面）の一部分しか認識できていないとき、又は後端面（リア側）の一部分しか認識できていないときである。また、後方に存在する部分認識車両の角部分が認識できていないときというのは、部分認識車両の側面（右側面若しくは左側面）の一部分しか認識できていないとき、又は前端面（フロント側）の一部分しか認識できていないときである。

そこで本実施形態では、部分認識車両の角部分が認識できておらず、部分認識車両の右側面の一部しか認識できていなかったときは、認識している右側面の車両前後方向の中点から、右側面に対して垂直に左側に第１所定量だけオフセットさせた位置を、前記部分認識車両の中心位置（相対位置）として算出する。第１所定量は、例えば、予め設定された車幅方向の長さの半分（一例では代表的な小型車の車幅の半分）とされる。

また、部分認識車両の角部分が認識できておらず、部分認識車両の左側面の一部しか認識できていなかったときは、認識している左側面の車両前後方向の中点から、左側面に対して垂直に右側に第１所定量だけオフセットさせた位置を、部分認識車両の中心位置（相対位置）として算出する。

また、部分認識車両の角部分が認識できておらず、部分認識車両の後端面の一部しか認識できていなかったときは、部分認識車両が走行している車線の車線中心に沿って、認識している後端面から前方に第２所定量だけオフセットさせた位置を、部分認識車両の相対位置として算出する。第２所定量は、予め設定された前後方向の長さの半分（一例では代表的な小型車の長さの半分）とされる。

また、部分認識車両の角部分が認識できておらず、部分認識車両の前端面の一部しか認識できていなかったときは、部分認識車両が走行している車線の車線中心に沿って、認識している前端面から後方に第２所定量だけオフセットさせた位置を、部分認識車両の相対位置として算出する。

ステップＳ６において、物体認識装置３は、部分認識車両以外の車両の中心位置を算出する。部分認識車両以外の車両については、物標グルーピングによってグループ化されて車両と判断された物体の幅や長さ、向きに基づいて、中心位置の算出が行われる。

ステップＳ７において、物体認識装置３は、算出した各他車両の中心位置に基づいて、車両１００を基準とした各他車両の相対位置を算出し、各他車両の種別情報と相対位置情報とを含む他車両情報を、表示装置４に送信する。

以上説明した本実施形態による物体認識装置３は、車両１００の周囲に存在する他車両を認識するための物体認識装置３であって、認識した複数の他車両のうち、手前に存在する他車両によって一部が隠れている部分認識車両が存在しているか否かを判定し、部分認識車両が存在している場合において、部分認識車両の角部分が認識できているときは、部分認識車両の前後方向の長さ及び車幅方向の長さを、予め設定された前後方向及び車幅方向の長さとして、部分認識車両の角部分を基準に当該部分認識車両の中心位置を算出するように構成される。

車両の形状は、種別にかかわらず概ね長方形状である。そのため、部分認識車両の角部分が認識できているときは、部分認識車両の前後方向の長さ及び車幅方向の長さを、予め設定された前後方向及び車幅方向の長さとして、部分認識車両の角部分を基準に当該部分認識車両の中心位置を簡易的に算出することで、処理部３３の処理負荷（演算量）を抑制することができる。したがって、物体認識装置３の処理速度が遅くなるのを抑制することができる。

このとき、予め設定された前後方向及び車幅方向の長さを、例えば一般的な乗用車の長さとしていた場合には、仮に部分認識車両が乗用車であれば、部分認識車両の中心位置を精度良く算出することができる。また、仮に部分認識車両が乗用車以外のトラックなどであった場合でも、前述したように車両の形状は、種別にかかわらず概ね長方形状であるため、角部分を基準に中心位置を算出（推定）することで、実際の中心位置からのズレを一定の範囲内に収めることができる。

また本実施形態のように、他車両の中心位置を算出することで、自車両１００の周囲に存在する他車両を情報表示画面に表示する際に、他車両の中心位置を当該他車両の相対位置に置き換えるだけで、自車両１００の周囲に存在する他車両を容易に情報表示画面に表示させることができる。特に本実施形態では、推定精度の低下しやすい部分認識車両の中心位置を、簡易的に（リアルタイムに）、かつ精度良く算出することができるため、部分認識車両の表示位置が実際の位置からズレてしまったり、部分認識車両の表示位置が不自然にふらついたりするのを抑制できる。そのため、ドライバに違和感を与えることなく部分認識車両を情報表示画面に表示させることができる。

また、自車両１００の周囲に存在する他車両が隣接レーンから自レーンに割り込んでくるシーンにおいて、予め設定した長さと実際の長さが異なることにより中心位置が実際と異なっていたとしても、本実施形態のように、部分認識車両の角部分を基準に当該部分認識車両の中心位置を簡易的に算出することで、自車両１００の周囲に存在する他車両を情報表示画面に表示する際に、区画線を踏むタイミングは実際のタイミングと一致させることができる。そのため、そのようなシーンにおける表示の不自然さを低減させて、ドライバに与える違和感を低減させることができる。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

例えば上記の実施形態では、部分認識車両が存在している場合において、部分認識車両の角部分が認識できているときは、部分認識車両の前後方向の長さ及び車幅方向の長さを、予め設定された前後方向及び車幅方向の長さとし、この予め設定された前後方向及び車幅方向の長さを、例えば一般的な乗用車の長さとしていた。これに対して、例えば、全長や全幅を既に認識（計測）できていた車両が部分認識車両になった場合など、部分認識車両を過去の或る時点からトラッキングできており、その部分認識車両の正確な前後方向の長さ及び車幅方向の長さを事前に計測できていた場合には、予め設定された前後方向及び車幅方向の長さに替えて、その計測された長さを用いて部分認識車両の角部分を基準に当該部分認識車両の中心位置を算出するようにしてもよい。

１００ 車両、自車両
３ 物体認識装置

Claims (1)

1. 車両の周囲に存在する他車両を認識するための物体認識装置であって、
   認識した複数の前記他車両のうち、手前に存在する前記他車両によって一部が隠れている部分認識車両が存在しているか否かを判定し、
   前記部分認識車両が存在している場合において、前記部分認識車両の角部分が認識できているときは、前記部分認識車両の前後方向の長さ及び車幅方向の長さを、予め設定された前後方向及び車幅方向の長さとして、前記部分認識車両の角部分を基準に当該部分認識車両の中心位置を算出するように構成される、
   物体認識装置。

Images