JP7064389B2

JP7064389B2 - 車両計測装置及び車両計測プログラム

Info

Publication number: JP7064389B2
Application number: JP2018109792A
Authority: JP
Inventors: 将広星; 幸伸時枝
Original assignee: Ｊｒｃモビリティ株式会社
Priority date: 2018-06-07
Filing date: 2018-06-07
Publication date: 2022-05-10
Anticipated expiration: 2038-06-07
Also published as: JP2019211402A

Description

本開示は、車両の三次元情報を計測する技術に関する。

車両の三次元情報を計測する技術として、ステレオカメラ又はＬｉＤＡＲ（ＬａｓｅｒＩｍａｇｉｎｇＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）を用いる技術が存在する。しかし、ステレオカメラを用いる技術では、ステレオカメラから遠距離になるほど、測距精度が低下する。そして、ステレオカメラ又はＬｉＤＡＲを用いる技術では、天候依存度が大きいため、霧及び雨等の悪天候時に対応することができない。

特開２０１０－２４９６１３号公報

ところで、特許文献１に開示された技術として、ミリ波レーダ及び単眼カメラを併用する技術が存在する。よって、特許文献１に開示された技術では、レーダ装置から遠距離になっても、測距精度が向上する。そして、特許文献１に開示された技術では、天候依存度が小さいため、霧及び雨等の悪天候時に対応することができる。しかし、特許文献１に開示された技術では、レーダ装置から車両の正面までの距離及び車両の正面を縁取る矩形を検出するのみであり、車両の三次元情報を計測することができない。

そこで、前記課題を解決するために、本開示は、ミリ波レーダ等及び単眼カメラ等を併用することにより、車両の三次元情報を計測することを目的とする。

ミリ波レーダ等では、車両の幅及び奥行といった二次元情報を計測するのみである。単眼カメラ等では、車両の幅及び高さといった二次元情報を計測するのみである。前記課題を解決するために、ミリ波レーダ等及び単眼カメラ等を併用して、各々に不足する次元の情報を互いに補完して、車両の幅、奥行及び高さといった三次元情報を計測する。

具体的には、本開示は、車両からのレーダ反射点の情報及び前記車両の画像を取得する車両情報取得部と、前記画像上で前記レーダ反射点をプロットする反射点プロット部と、前記画像上で前記レーダ反射点の近傍でのエッジ解析を実行することにより、前記画像上で前記車両を縁取る四角錐台を検出する四角錐台検出部と、前記画像上の前記四角錐台の位置を実空間内の位置に変換する位置変換部と、を備えることを特徴とする車両計測装置である。

この構成によれば、ミリ波レーダ等及び単眼カメラ等を併用することにより、車両の幅、奥行及び高さといった三次元情報を計測することができる。なお、車両の幅及び奥行といった二次元情報を計測するのみであるレーダに代えて、車両の幅、奥行及び高さといった三次元情報を計測することができるレーダを用いてもよい。また、車両の幅及び高さといった二次元情報を計測するのみである単眼カメラに代えて、車両の幅、高さ及び奥行といった三次元情報を計測することができるステレオカメラを用いてもよい。

また、本開示は、前記反射点プロット部は、前記レーダ反射点が路面上にあると仮定し、前記四角錐台検出部は、前記反射点プロット部が前記路面上にあると仮定した前記レーダ反射点に基づいて、前記四角錐台の底面の辺を検出することを特徴とする車両計測装置である。

レーダ反射点の高さは、レーダ装置の設置高さの周りで不明である。この構成によれば、レーダ反射点の高さを路面の高さ（レーダ装置の設置高さに近い）に等しいと仮定することにより、車両を縁取る四角錐台の底面の辺を容易に検出することができる。なお、車両の下側のエッジ解析を実行しないのは、車両の下側のエッジと路面との間にタイヤの半径程度の高さの空間があり、車両の高さを精度高く計測することができないからである。

また、本開示は、前記四角錐台検出部は、レーダ装置から遠距離の前記レーダ反射点に基づかず、前記レーダ装置から近距離の前記レーダ反射点に基づいて、前記四角錐台の底面の辺を検出することを特徴とする車両計測装置である。

レーダ反射点の高さは、レーダ装置の設置高さの周りで不明である。ここで、レーダ装置から遠距離のレーダ反射点の高さは、レーダ装置の設置高さの周りで大きな誤差を有する。一方で、レーダ装置から近距離のレーダ反射点の高さは、レーダ装置の設置高さの周りで大きな誤差を有さない。この構成によれば、レーダ装置から遠距離のレーダ反射点に基づかず、レーダ装置から近距離のレーダ反射点に基づいて、車両を縁取る四角錐台の底面の辺を精度高く検出することができる。そして、車両の奥行方向の辺の傾きを精度高く計測することにより、車両の奥行方向の長さを精度高く計測することができる。

また、本開示は、前記四角錐台検出部は、前記四角錐台の底面の辺から前記画像上の高さ方向の所定距離でのエッジ解析を実行することにより、前記四角錐台の上面の辺を検出することを特徴とする車両計測装置である。

この構成によれば、車両を縁取る四角錐台の上面の辺を検出することができる。

また、本開示は、前記四角錐台検出部は、前記四角錐台の底面の二辺の交点から前記画像上の高さ方向に延伸する直線に基づいて、前記四角錐台の正面と側面との境界の辺を検出することを特徴とする車両計測装置である。

この構成によれば、車両を縁取る四角錐台の正面と側面との境界の辺を検出することができる。

また、本開示は、前記四角錐台検出部は、前記四角錐台の正面と側面との境界の辺から前記画像上の幅方向の所定距離でのエッジ解析を実行することにより、前記四角錐台の正面の四辺のうち、前記四角錐台の正面と側面との境界の辺と向かい合う辺を検出することを特徴とする車両計測装置である。

この構成によれば、車両を縁取る四角錐台の正面の四辺のうち、四角錐台の正面と側面との境界の辺と向かい合う辺を検出することができる。

また、本開示は、前記四角錐台検出部は、前記車両の最前方の前記レーダ反射点から前記画像上の奥行方向の所定距離でのエッジ解析を実行することにより、前記四角錐台の側面の四辺のうち、前記四角錐台の正面と側面との境界の辺と向かい合う辺を検出することを特徴とする車両計測装置である。

この構成によれば、車両を縁取る四角錐台の側面の四辺のうち、四角錐台の正面と側面との境界の辺と向かい合う辺を検出することができる。

また、本開示は、前記四角錐台検出部は、レーダ装置から前記車両までの距離が近いほど、エッジ解析を実行する前記画像上の前記所定距離の範囲を広くし、前記レーダ装置から前記車両までの距離が遠いほど、エッジ解析を実行する前記画像上の前記所定距離の範囲を狭くすることを特徴とする車両計測装置である。

レーダ装置から近距離の車両のサイズは、画像上で大きい。一方で、レーダ装置から遠距離の車両のサイズは、画像上で小さい。この構成によれば、レーダ装置から車両までの距離に応じて、エッジ解析を実行する画像上の範囲を調整し、車両を縁取る四角錐台の上面、正面及び／又は側面の辺を容易に検出することができる。

また、本開示は、車両からのレーダ反射点の情報及び前記車両の画像を取得する車両情報取得ステップと、前記画像上で前記レーダ反射点をプロットする反射点プロットステップと、前記画像上で前記レーダ反射点の近傍でのエッジ解析を実行することにより、前記画像上で前記車両を縁取る四角錐台を検出する四角錐台検出ステップと、前記画像上の前記四角錐台の位置を実空間内の位置に変換する位置変換ステップと、を順にコンピュータに実行させるための車両計測プログラムである。

このように、本開示は、ミリ波レーダ等及び単眼カメラ等を併用することにより、車両の三次元情報を計測することができる。

本開示の車両計測システムの構成を示すブロック図である。本開示の車両計測装置の処理手順を示すフローチャートである。本開示の車両情報取得の処理内容を示す図である。本開示の反射点プロット及び底面の辺検出の処理内容を示す図である。本開示の底面の辺検出の処理内容を示す図である。本開示の正面と側面との境界の辺検出の処理内容を示す図である。本開示の上面の辺検出の処理内容を示す図である。本開示の正面の他辺検出の処理内容を示す図である。本開示の側面の他辺検出の処理内容を示す図である。本開示の位置変換の処理内容を示す図である。

添付の図面を参照して本開示の実施形態を説明する。以下に説明する実施形態は本開示の実施の例であり、本開示は以下の実施形態に制限されるものではない。

本開示の車両計測システムの構成を示すブロック図を図１に示す。本開示の車両計測装置の処理手順を示すフローチャートを図２に示す。車両計測システムＣは、レーダ装置１、撮像装置２及び車両計測装置３から構成される。車両計測装置３は、図２に示した車両計測プログラムをインストールされたコンピュータであり、車両情報取得部３１、反射点プロット部３２、四角錐台検出部３３及び位置変換部３４から構成される。

レーダ装置１は、自車のバンパーの内部等に設置される、ＭＩＭＯ（ＭｕｌｔｉｐｌｅＩｎｐｕｔ－ＭｕｌｔｉｐｌｅＯｕｔｐｕｔ）ミリ波レーダ等である。撮像装置２は、自車のフロントガラスの上部又は自車のバンパーの内部等に設置される、単眼カメラ等である。車両計測装置３は、レーダ装置１及び撮像装置２を併用することにより、車両の三次元情報を計測する。

本開示の車両情報取得の処理内容を図３に示す。車両情報取得部３１は、車両からのレーダ反射点の情報及び車両の画像を取得する（ステップＳ１）。

車両からのレーダ反射点の情報は、ビームフォーマ法又はＭＵＳＩＣ（ＭｕｌｔｉｐｌｅＳｉｇｎａｌＣｌａｓｓｉｆｉｃａｔｉｏｎ）法等により取得される。車両情報取得部３１は、複数の白線Ｌの情報を取得している。レーダ装置１のアンテナＡから見て、左側の隣接車線には、複数のレーダ反射点のクラスタとして車両Ｃ１が検出され、同一の車線には、複数のレーダ反射点のクラスタとして車両Ｃ２が検出され、右側の隣接車線には、複数のレーダ反射点のクラスタとして車両Ｃ３が検出される。

車両の画像は、単眼カメラ等により取得される。撮像装置２のセンサから見て、前方の方向には、複数の白線Ｌが検出され、左側の隣接車線には、車両Ｃ１が検出され、同一の車線には、車両Ｃ２が検出され、右側の隣接車線には、車両Ｃ３が検出される。

レーダ装置１は、複数のアンテナＡを高さ方向に離して設置する余裕がないため、車両の幅Ｘ［ｍ］及び奥行Ｚ［ｍ］といった二次元情報を計測するのみである。撮像装置２は、複数のセンサを幅方向に離して設置する余裕がないため、車両の幅ｘ［ｐｉｘ］及び高さｙ［ｐｉｘ］といった二次元情報を計測するのみである。そこで、車両計測装置３は、レーダ装置１及び撮像装置２を併用して、各々に不足する次元の情報を互いに補完して、車両の幅Ｘ［ｍ］、奥行Ｚ［ｍ］及び高さＹ［ｍ］といった三次元情報を計測する。

本開示の反射点プロット及び底面の辺検出の処理内容を図４及び図５に示す。反射点プロット部３２は、画像上でレーダ反射点をプロットする（ステップＳ２）。四角錐台検出部３３は、画像上で車両を縁取る四角錐台の底面の辺を検出する（ステップＳ３）。

車両Ｃ１からのレーダ反射点の情報では、車両Ｃ１の正面には、複数のレーダ反射点Ｐ１、Ｐ２、Ｐ３が検出され、車両Ｃ１の側面には、複数のレーダ反射点Ｐ４、Ｐ５、Ｐ６、Ｐ７が検出される。車両Ｃ１の画像では、車両Ｃ１の近傍に、複数のレーダ反射点Ｐ１～Ｐ７がプロットされる。ここで、図１０に示した画像上の位置を実空間内の位置に変換する数式に対して、逆処理である実空間内の位置を画像上の位置に変換する数式を用いて、複数のレーダ反射点Ｐ１～Ｐ７が車両Ｃ１の画像上にプロットされる。

図４に示した車両Ｃ１の画像では、反射点プロット部３２は、複数のレーダ反射点Ｐ１～Ｐ７が路面上にあると仮定する。というのは、複数のレーダ反射点Ｐ１～Ｐ７の高さは、レーダ装置１の設置高さの周りで不明である。そこで、複数のレーダ反射点Ｐ１～Ｐ７の高さは、路面の高さ（レーダ装置１の設置高さに近い）に等しいと仮定する。

そして、四角錐台検出部３３は、反射点プロット部３２が路面上にあると仮定した複数のレーダ反射点Ｐ１～Ｐ７に基づいて、画像上で車両Ｃ１を縁取る四角錐台Ｒの底面の辺Ｒ１、Ｒ２を検出する。具体的には、四角錐台検出部３３は、複数のレーダ反射点Ｐ１～Ｐ３の近似直線を最小二乗法等により算出し、複数のレーダ反射点Ｐ１～Ｐ３の近似直線を四角錐台Ｒの底面の辺Ｒ１として検出する。そして、四角錐台検出部３３は、複数のレーダ反射点Ｐ４～Ｐ７の近似直線を最小二乗法等により算出し、複数のレーダ反射点Ｐ４～Ｐ７の近似直線を四角錐台Ｒの底面の辺Ｒ２として検出する。

このように、図４に示した車両Ｃ１の画像では、複数のレーダ反射点Ｐ１～Ｐ７の高さを路面の高さ（レーダ装置１の設置高さに近い）に等しいと仮定することにより、車両Ｃ１を縁取る四角錐台Ｒの底面の辺Ｒ１、Ｒ２を容易に検出することができる。なお、図７から図９までと異なり、図４において、車両Ｃ１の下側のエッジ解析を実行しないのは、車両Ｃ１の下側のエッジと路面との間にタイヤの半径程度の高さの空間があり、車両Ｃ１の高さを精度高く計測することができないからである（図１０の第３式を参照）。

図５に示した車両Ｃ１の画像では、四角錐台検出部３３は、レーダ装置１から遠距離のレーダ反射点Ｐ６、Ｐ７に基づかず、レーダ装置１から近距離のレーダ反射点Ｐ４、Ｐ５に基づいて、車両Ｃ１を縁取る四角錐台Ｒの底面の辺Ｒ２を検出する。というのは、複数のレーダ反射点Ｐ４～Ｐ７の高さは、レーダ装置１の設置高さの周りで不明である。ここで、レーダ装置１から遠距離のレーダ反射点Ｐ６、Ｐ７の高さは、レーダ装置１の設置高さの周りで大きな誤差を有する。一方で、レーダ装置１から近距離のレーダ反射点Ｐ４、Ｐ５の高さは、レーダ装置１の設置高さの周りで大きな誤差を有さない。

第１の方法として、四角錐台検出部３３は、複数のレーダ反射点Ｐ６、Ｐ７を利用せず、複数のレーダ反射点Ｐ４、Ｐ５の近似直線を最小二乗法等により算出し、複数のレーダ反射点Ｐ４、Ｐ５の近似直線を四角錐台Ｒの底面の辺Ｒ２として検出する。第２の方法として、四角錐台検出部３３は、複数のレーダ反射点Ｐ６、Ｐ７を複数のレーダ反射点Ｐ４、Ｐ５とほぼ同一の直線上に乗るように補正し、複数のレーダ反射点Ｐ４～Ｐ７の近似直線を最小二乗法等により算出し、複数のレーダ反射点Ｐ４～Ｐ７の近似直線を四角錐台Ｒの底面の辺Ｒ２として検出する。第３の方法として、四角錐台検出部３３は、図５に示した方法を、四角錐台Ｒの底面の辺Ｒ２の検出と同様に、四角錐台Ｒの底面の辺Ｒ１の検出で適用する（レーダ装置１から近距離のレーダ反射点Ｐ２、Ｐ３を利用する。）。

このように、レーダ装置１から遠距離のレーダ反射点Ｐ６、Ｐ７に基づかず、レーダ装置１から近距離のレーダ反射点Ｐ４、Ｐ５に基づいて、車両Ｃ１を縁取る四角錐台Ｒの底面の辺Ｒ２を精度高く検出することができる。そして、レーダ装置１から遠距離のレーダ反射点Ｐ１に基づかず、レーダ装置１から近距離のレーダ反射点Ｐ２、Ｐ３に基づいて、車両Ｃ１を縁取る四角錐台Ｒの底面の辺Ｒ１を精度高く検出することができる。さらに、車両Ｃ１の奥行方向の辺Ｒ２の傾きを精度高く計測することにより、車両Ｃ１の奥行方向の長さを精度高く計測することができる（図１０に示した第１式を参照）。

本開示の正面と側面との境界の辺検出の処理内容を図６に示す。四角錐台検出部３３は、四角錐台Ｒの底面の二辺Ｒ１、Ｒ２の交点から画像上の高さ方向に延伸する直線に基づいて、四角錐台Ｒの正面と側面との境界の辺Ｒ３を検出する（ステップＳ３）。

本開示の上面の辺検出の処理内容を図７に示す。四角錐台検出部３３は、四角錐台Ｒの底面の辺Ｒ１、Ｒ２から画像上の高さ方向の所定距離でのエッジ解析を実行することにより、四角錐台Ｒの上面の辺Ｒ４、Ｒ５を検出する（ステップＳ３）。

具体的には、四角錐台検出部３３は、レーダ装置１から車両Ｃ１までの距離が近いほど、エッジ解析を実行する画像上の高さ方向の所定距離の範囲ｙ_Ｅ［ｐｉｘ］を広くし、レーダ装置１から車両Ｃ１までの距離が遠いほど、エッジ解析を実行する画像上の高さ方向の所定距離の範囲ｙ_Ｅ［ｐｉｘ］を狭くする。ここで、辺Ｒ４、Ｒ５を検出するためのエッジ解析範囲Ｅ４、Ｅ５の最小高さは、例えば現行軽自動車の最小高さ及び図１０に示した第３の座標変換式に基づいて設定され、エッジ解析範囲Ｅ４、Ｅ５の最大高さは、法律で定められた最大高さ規制及び図１０に示した第３の座標変換式に基づいて設定される。

そして、四角錐台検出部３３は、エッジ解析範囲Ｅ４、Ｅ５のみにおいて、幅方向に長いエッジを検出するＣａｎｎｙ法等を適用することにより、四角錐台Ｒの上面の辺Ｒ４、Ｒ５を容易に検出することができる。なお、四角錐台検出部３３は、エッジ解析範囲Ｅ４、Ｅ５のみにおいて、様々な幅座標位置で高さ方向に輝度勾配を計測することにより、四角錐台Ｒの上面の辺Ｒ４、Ｒ５を検出することもできる。

本開示の正面の他辺検出の処理内容を図８に示す。四角錐台検出部３３は、四角錐台Ｒの正面と側面との境界の辺Ｒ３から画像上の幅方向の所定距離でのエッジ解析を実行することにより、四角錐台Ｒの正面の四辺のうち、四角錐台Ｒの正面と側面との境界の辺Ｒ３と向かい合う辺Ｒ６を検出する（ステップＳ３）。

具体的には、四角錐台検出部３３は、レーダ装置１から車両Ｃ１までの距離が近いほど、エッジ解析を実行する画像上の幅方向の所定距離の範囲ｘ_Ｅ［ｐｉｘ］を広くし、レーダ装置１から車両Ｃ１までの距離が遠いほど、エッジ解析を実行する画像上の幅方向の所定距離の範囲ｘ_Ｅ［ｐｉｘ］を狭くする。ここで、辺Ｒ６を検出するためのエッジ解析範囲Ｅ６の最小幅座標は、例えば現行軽自動車の最小幅及び図１０に示した第２の座標変換式に基づいて設定され、エッジ解析範囲Ｅ６の最大幅座標は、法律で定められた最大幅規制及び図１０に示した第２の座標変換式に基づいて設定される。

そして、四角錐台検出部３３は、エッジ解析範囲Ｅ６のみにおいて、高さ方向に長いエッジを検出するＣａｎｎｙ法等を適用することにより、四角錐台Ｒの正面と側面との境界の辺Ｒ３と向かい合う辺Ｒ６を容易に検出することができる。なお、四角錐台検出部３３は、エッジ解析範囲Ｅ６のみにおいて、様々な高さ座標位置で幅方向に輝度勾配を計測することにより、四角錐台Ｒの正面の他辺Ｒ６を検出することもできる。

本開示の側面の他辺検出の処理内容を図９に示す。四角錐台検出部３３は、車両Ｃ１の最前方のレーダ反射点Ｐ７から画像上の奥行方向の所定距離でのエッジ解析を実行することにより、四角錐台Ｒの側面の四辺のうち、四角錐台Ｒの正面と側面との境界の辺Ｒ３と向かい合う辺Ｒ７を検出する（ステップＳ３）。

具体的には、四角錐台検出部３３は、レーダ装置１から車両Ｃ１までの距離が近いほど、エッジ解析を実行する画像上の奥行方向の所定距離の範囲ｚ_Ｅ［ｐｉｘ］を広くし、レーダ装置１から車両Ｃ１までの距離が遠いほど、エッジ解析を実行する画像上の奥行方向の所定距離の範囲ｚ_Ｅ［ｐｉｘ］を狭くする。ここで、辺Ｒ７を検出するためのエッジ解析範囲Ｅ７の最小奥行及び最大奥行は、辺Ｒ７を確実に検出できるように設定される。

そして、四角錐台検出部３３は、エッジ解析範囲Ｅ７のみにおいて、様々な高さ座標位置で奥行方向に輝度勾配を計測することにより、四角錐台Ｒの正面と側面との境界の辺Ｒ３と向かい合う辺Ｒ７を確実に検出することができる。なお、四角錐台検出部３３は、エッジ解析範囲Ｅ７のみにおいて、高さ方向に長いエッジを検出するＣａｎｎｙ法等を適用することにより、四角錐台Ｒの側面の他辺Ｒ７を検出することもできる。

本開示の位置変換の処理内容を図１０に示す。位置変換部３４は、画像上の四角錐台Ｒの位置を実空間内の位置に変換する（ステップＳ４）。

辺Ｒ１、Ｒ６の交点の座標を、画像上で（ｘ_１［ｐｉｘ］、ｙ_１［ｐｉｘ］）とし、実空間内で（Ｘ_１［ｍ］、Ｙ_１［ｍ］、Ｚ_１［ｍ］）とする。辺Ｒ２、Ｒ７の交点の座標を、画像上で（ｘ_２［ｐｉｘ］、ｙ_２［ｐｉｘ］）とし、実空間内で（Ｘ_２［ｍ］、Ｙ_２［ｍ］、Ｚ_２［ｍ］）とする。辺Ｒ１、Ｒ２、Ｒ３の交点の座標を、画像上で（ｘ_３［ｐｉｘ］、ｙ_３［ｐｉｘ］）とし、実空間内で（Ｘ_３［ｍ］、Ｙ_３［ｍ］、Ｚ_３［ｍ］）とする。辺Ｒ３、Ｒ４、Ｒ５の交点の座標を、画像上で（ｘ_４［ｐｉｘ］、ｙ_４［ｐｉｘ］）とし、実空間内で（Ｘ_４［ｍ］、Ｙ_４［ｍ］、Ｚ_４［ｍ］）とする。辺Ｒ４、Ｒ６の交点の座標を、画像上で（ｘ_５［ｐｉｘ］、ｙ_５［ｐｉｘ］）とし、実空間内で（Ｘ_５［ｍ］、Ｙ_５［ｍ］、Ｚ_５［ｍ］）とする。辺Ｒ５、Ｒ７の交点の座標を、画像上で（ｘ_６［ｐｉｘ］、ｙ_６［ｐｉｘ］）とし、実空間内で（Ｘ_６［ｍ］、Ｙ_６［ｍ］、Ｚ_６［ｍ］）とする。画像の消失点Ｖ（例えば、複数の白線Ｌの延長線の交点）の座標を、画像上で（ｘ_Ｖ［ｐｉｘ］、ｙ_Ｖ［ｐｉｘ］）とする。

ｘ_１～ｘ_６をｘで代表し、ｙ_１～ｙ_６をｙで代表し、Ｘ_１～Ｘ_６をＸで代表し、Ｙ_１～Ｙ_６をＹで代表し、Ｚ_１～Ｚ_６をＺで代表する。画像上での座標（ｘ［ｐｉｘ］、ｙ［ｐｉｘ］）は、実空間内での座標（Ｘ［ｍ］、Ｙ［ｍ］、Ｚ［ｍ］）に、以下の数式により変換される。
Ｚ［ｍ］＝（焦点距離［ｍｍ］×高さ方向の画素数［ｐｉｘ］×センサの設置高さ［ｃｍ］）／（（ｙ［ｐｉｘ］－ｙ_Ｖ［ｐｉｘ］）×センササイズ［ｍｍ］×１００）
Ｘ［ｍ］＝（ｘ［ｐｉｘ］－ｘ_Ｖ［ｐｉｘ］）×Ｚ［ｍ］での解像度［ｍ／ｐｉｘ］
Ｙ［ｍ］＝（ｙ［ｐｉｘ］－ｙ_Ｖ［ｐｉｘ］）×Ｚ［ｍ］での解像度［ｍ／ｐｉｘ］

以上に説明したように、レーダ装置１及び撮像装置２を併用することにより、車両Ｃ１の幅Ｘ［ｍ］、奥行Ｚ［ｍ］及び高さＹ［ｍ］といった三次元情報を計測することができる。そして、自動運転に応用可能な周辺環境認識を行うことができる。

なお、車両Ｃ１の幅Ｘ［ｍ］及び奥行Ｚ［ｍ］といった二次元情報を計測するのみであるレーダに代えて、車両Ｃ１の幅Ｘ［ｍ］、奥行Ｚ［ｍ］及び高さＹ［ｍ］といった三次元情報を計測することができるレーダを用いてもよい。

また、車両Ｃ１の幅ｘ［ｐｉｘ］及び高さｙ［ｐｉｘ］といった二次元情報を計測するのみである単眼カメラに代えて、車両Ｃ１の幅ｘ［ｐｉｘ］、高さｙ［ｐｉｘ］及び奥行ｚ［ｐｉｘ］といった三次元情報を計測することができるステレオカメラを用いてもよい。

本開示の車両計測装置及び車両計測プログラムは、ミリ波レーダ等及び単眼カメラ等を併用することにより、車両の三次元情報を計測することができる。

Ｃ：車両計測システム
Ｃ１、Ｃ２、Ｃ３：車両
Ｌ：白線
Ａ：アンテナ
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７：レーダ反射点
Ｒ：四角錐台
Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７：辺
Ｅ４、Ｅ５、Ｅ６、Ｅ７：エッジ解析範囲
Ｖ：消失点
１：レーダ装置
２：撮像装置
３：車両計測装置
３１：車両情報取得部
３２：反射点プロット部
３３：四角錐台検出部
３４：位置変換部

Claims

車両からのレーダ反射点の情報及び前記車両の画像を取得する車両情報取得部と、
前記画像上で前記レーダ反射点をプロットする反射点プロット部と、
前記画像上で前記レーダ反射点の近傍でのエッジ解析を実行することにより、前記画像上で前記車両を縁取る四角錐台を検出する四角錐台検出部と、
前記画像上の前記四角錐台の位置を実空間内の位置に変換する位置変換部と、
を備えることを特徴とする車両計測装置。
前記反射点プロット部は、前記レーダ反射点が路面上にあると仮定し、
前記四角錐台検出部は、前記反射点プロット部が前記路面上にあると仮定した前記レーダ反射点に基づいて、前記四角錐台の底面の辺を検出する
ことを特徴とする、請求項１に記載の車両計測装置。
前記四角錐台検出部は、レーダ装置から遠距離の前記レーダ反射点に基づかず、前記レーダ装置から近距離の前記レーダ反射点に基づいて、前記四角錐台の底面の辺を検出する
ことを特徴とする、請求項２に記載の車両計測装置。
前記四角錐台検出部は、前記四角錐台の底面の辺から前記画像上の高さ方向の所定距離でのエッジ解析を実行することにより、前記四角錐台の上面の辺を検出する
ことを特徴とする、請求項２又は３に記載の車両計測装置。
前記四角錐台検出部は、前記四角錐台の底面の二辺の交点から前記画像上の高さ方向に延伸する直線に基づいて、前記四角錐台の正面と側面との境界の辺を検出する
ことを特徴とする、請求項２から４のいずれかに記載の車両計測装置。
前記四角錐台検出部は、前記四角錐台の正面と側面との境界の辺から前記画像上の幅方向の所定距離でのエッジ解析を実行することにより、前記四角錐台の正面の四辺のうち、前記四角錐台の正面と側面との境界の辺と向かい合う辺を検出する
ことを特徴とする、請求項５に記載の車両計測装置。
前記四角錐台検出部は、前記車両の最前方の前記レーダ反射点から前記画像上の奥行方向の所定距離でのエッジ解析を実行することにより、前記四角錐台の側面の四辺のうち、前記四角錐台の正面と側面との境界の辺と向かい合う辺を検出する
ことを特徴とする、請求項５又は６に記載の車両計測装置。
前記四角錐台検出部は、レーダ装置から前記車両までの距離が近いほど、エッジ解析を実行する前記画像上の前記所定距離の範囲を広くし、前記レーダ装置から前記車両までの距離が遠いほど、エッジ解析を実行する前記画像上の前記所定距離の範囲を狭くする
ことを特徴とする、請求項４、６又は７に記載の車両計測装置。
車両からのレーダ反射点の情報及び前記車両の画像を取得する車両情報取得ステップと、
前記画像上で前記レーダ反射点をプロットする反射点プロットステップと、
前記画像上で前記レーダ反射点の近傍でのエッジ解析を実行することにより、前記画像上で前記車両を縁取る四角錐台を検出する四角錐台検出ステップと、
前記画像上の前記四角錐台の位置を実空間内の位置に変換する位置変換ステップと、
を順にコンピュータに実行させるための車両計測プログラム。