JPWO2017169752A1 - 車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法 - Google Patents

Abstract

姿勢検出装置（１３）は、入出力インターフェース（２１）と、プロセッサ（２３）と、を備える。入出力インターフェース（２１）は、車両（１１）の車輪を撮像した撮像画像を取得する。プロセッサ（２３）は、撮像画像における車輪の位置に基づいて、車両（１１）の姿勢を検出する。

Description

関連出願の相互参照

本出願は、２０１６年３月２９日に日本国に特許出願された特願２０１６−０６５９６２の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本開示の実施形態は、車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法に関する。

従来、自動車などの車両に設けられた撮像装置を用いて、運転者の運転支援が行われている。例えば、特許文献１には、車両の傾斜の変化に応じて、周辺画像から抽出する領域を決定し、または、運転支援のために周辺画像に重畳する指標の位置を変更する構成が開示されている。

特開２０１４−０７８７７６号公報

本開示の実施形態に係る車両の姿勢検出装置は、入出力インターフェースと、プロセッサと、を備える。入出力インターフェースは、車両の車輪を撮像した撮像画像を取得する。プロセッサは、前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出する。

本開示の実施形態に係る画像処理システムは、撮像装置と、姿勢検出装置と、画像処理装置と、を備える。撮像装置は、車両の車輪を撮像した撮像画像を生成する。姿勢検出装置は前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出する。画像処理装置は、検出された前記姿勢に基づいて、前記撮像画像に画像を重畳させる位置、および、前記撮像画像における画像処理範囲のうち、少なくとも一方を決定する。

本開示の実施形態に係る車両は、車輪と、撮像装置と、姿勢検出装置と、画像処理装置と、を備える。撮像装置は、前記車輪を撮像した撮像画像を生成する。姿勢検出装置は、前記撮像画像における前記車輪の位置に基づいて、車両の姿勢を検出する。画像処理装置は、検出された前記姿勢に基づいて、前記撮像画像に画像を重畳させる位置、および、前記撮像画像における画像処理範囲のうち、少なくとも一方を決定する。

本開示の実施形態に係る車両の姿勢検出方法は、姿勢検出装置が実行する車両の姿勢検出方法であって、車両の車輪を撮像した撮像画像を取得し、前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出する。

本開示の一実施形態に係る画像処理システムを備えた車両を上空から見た概略図である。 画像処理システムの概略構成を示すブロック図である。 傾きα＝０における車両を左側方から見た概略図である。 傾きα≠０における車両を左側方から見た概略図である。 傾きα＝０における左サイドカメラの撮像画像の例を示す図である。 傾きα≠０における左サイドカメラの撮像画像の例を示す図である。 姿勢検出装置のメモリに記憶された第１対応情報の例を示す図である。 傾きβ≠０における車両を後方から見た概略図である。 姿勢検出装置の動作を示すフローチャートである。 画像処理装置の動作を示すフローチャートである。 実施形態の変形例に係る姿勢検出装置のメモリに記憶された第２対応情報の例を示す図である。

以下、本開示の実施形態について、図面を参照して説明する。

図１を参照して、本開示の一実施形態に係る画像処理システム１０を備える車両１１について説明する。画像処理システム１０は、１個以上の撮像装置１２と、姿勢検出装置１３と、画像処理装置１４と、を備える。撮像装置１２、姿勢検出装置１３、および画像処理装置１４は、互いに通信可能に接続される。本実施形態において、車両１１は、例えば４個の車輪を備える自動車であるが、１個以上の車輪を備えていればよい。

撮像装置１２は、例えば広角撮影可能な車載カメラである。撮像装置１２は、例えば車両１１に設置される。本実施形態では、３個の撮像装置１２が車両１１に設置される。３個の撮像装置１２は、例えば左サイドカメラ１２ａ、右サイドカメラ１２ｂ、およびリアカメラ１２ｃを含む。以下、当該３つの撮像装置１２を特に区別する場合には、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、およびリアカメラ１２ｃという。

左サイドカメラ１２ａは、車両１１の左側において、鉛直下向きに設置される。左サイドカメラ１２ａは、例えば左サイドミラーに設置されてもよい。左サイドカメラ１２ａは、車両１１の左側方の外部空間、車両１１の左側前輪、左側後輪、および車両１１の一部を同時に撮像可能となるように設置される。車両１１の当該一部は、例えば車体の左側面の少なくとも一部を含んでもよい。２個の左サイドカメラ１２ａが、車両１１の左側前輪および左側後輪をそれぞれ撮像可能となるように設置されてもよい。

右サイドカメラ１２ｂは、車両１１の右側において、鉛直下向きに設置される。右サイドカメラ１２ｂは、例えば右サイドミラーに設置されてもよい。右サイドカメラ１２ｂは、車両１１の右側方の外部空間、車両１１の右側前輪、右側後輪、および車両１１の一部を同時に撮像可能となるように設置される。車両１１の当該一部は、例えば車体の右側面の少なくとも一部を含んでもよい。２個の右サイドカメラ１２ｂが、車両１１の右側前輪および右側後輪をそれぞれ撮像可能となるように設置されてもよい。左サイドミラーおよび右サイドミラーは、光学ミラーを含む構成であってもよい。左サイドミラーおよび右サイドミラーは、例えばディスプレイなどを用いた電子ミラーを含む構成であってもよい。

リアカメラ１２ｃは、車両１１の後方において、車両１１の後方を向くように設置される。リアカメラ１２ｃは、例えば車両１１の後方のバンパーの下部に設置されてもよい。リアカメラ１２ｃは、車両１１の後方の外部空間を撮像可能となるように設置される。

車両１１に設置される撮像装置１２の数および配置は、上述した構成に限られない。例えば、追加の撮像装置１２が車両１１に設置されてもよい。例えば、フロントカメラが、車両１１の前方の外部空間を撮像可能となるように設置されてもよい。

姿勢検出装置１３は、車両１１の任意の位置に設置される。姿勢検出装置１３は、左サイドカメラ１２ａおよび右サイドカメラ１２ｂがそれぞれ生成した撮像画像に基づいて、車両１１の姿勢を検出する。車両１１の姿勢は、車両１１の前後方向の傾きαと、車両１１の左右方向の傾きβと、車両１１の高さｈと、のうち少なくとも１つを含む。以下、車両１１の前後方向を、第１方向ともいう。車両１１の左右方向を、第２方向ともいう。第１方向および第２方向は、車両１１の前後方向および左右方向に限られず、互いに異なる向きであればよい。姿勢検出装置１３が車両１１の姿勢を検出する具体的な動作については後述する。

姿勢検出装置１３は、検出された車両１１の姿勢を示す情報を画像処理装置１４へ出力する。以下、車両１１の姿勢を示す情報を、姿勢情報ともいう。検出された車両１１の姿勢は、後述するように画像処理装置１４が実行する画像処理において用いられる。

画像処理装置１４は、車両１１の任意の位置に設置される。画像処理装置１４は、撮像装置１２が生成した撮像画像に対して所定の画像処理を施す。所定の画像処理は、撮像画像を用いた所望の機能に応じて異なる。

例えば、車両１１の後進時の運転支援機能について説明する。画像処理装置１４は、リアカメラ１２ｃの撮像画像に対して所定の画像処理を施す。画像処理装置１４は、画像処理が施された撮像画像を車両１１側へ出力して、例えば車両１１に備えられた表示装置に表示させる。所定の画像処理には、撮像画像における画像処理範囲を決定する処理、画像処理範囲を切り出すトリミング処理、および、切り出された画像に、運転者を支援するための支援画像を重畳する処理などが含まれる。支援画像は、例えば車両１１の進路を仮想的に示すガイド線を含んでもよい。

例えば、高速道路への合流時の運転支援機能について説明する。画像処理装置１４は、例えば右サイドカメラ１２ｂの撮像画像に対して所定の画像処理を施す。画像処理装置１４は、車両１１の右側方から右後方の周辺領域における他の車両を検出する。他の車両が検出された場合、画像処理装置１４は、他の車両の存在を車両１１へ通知して、例えば車両１１に備えられたスピーカに警告音を出力させる。所定の画像処理には、撮像画像における画像処理範囲を決定する処理、および画像処理範囲内において他の車両を検出する物体認識処理などが含まれる。

上述した各機能において、画像処理装置１４は、姿勢検出装置１３から取得した姿勢情報に基づいて、撮像画像上に支援画像を重畳する位置、および、撮像画像における画像処理範囲のうち、少なくとも一方を決定する。以下、支援画像が重畳される撮像画像上の位置を、重畳位置ともいう。かかる構成によって、画像処理装置１４は、以下に説明するように、車両１１の姿勢に応じて重畳位置および画像処理範囲を決定可能である。

車両１１の姿勢に応じて、撮像装置１２の撮像範囲が変化し、撮像される被写体が変化する。例えば、車両１１の傾きおよび高さに応じて、撮像装置１２の撮像範囲および撮像される被写体が変化する。したがって、例えば撮像画像における重畳位置または画像処理範囲を固定的に定める構成では、車両１１の姿勢が変化すると、リアカメラ１２ｃの撮像画像上でトリミング処理を行う画像処理範囲の、被写体に対する位置ずれが発生する。このため、被写体に対して重畳される支援画像の位置ずれが発生し、運転支援機能の利便性が低下し得る。例えば、車両１１の姿勢が変化すると、右サイドカメラ１２ｂの撮像画像上で物体認識処理を行う画像処理範囲の、被写体に対する位置ずれが発生する。このため、物体認識処理の認識精度が低下し、運転支援機能の利便性が低下し得る。

これに対して、本開示の一実施形態に係る画像処理装置１４は、例えば車両１１の姿勢に応じて撮像画像上の画像処理範囲を移動、変形、または回転させる。このため、画像処理装置１４は、車両１１の姿勢の変化による画像処理範囲の被写体に対する位置ずれを低減可能である。

画像処理装置１４は、上述した機能に限られず、撮像画像を用いた多様な機能を有してもよい。例えば、画像処理装置１４は、車両１１の姿勢に基づいて決定した画像処理範囲を複数の撮像画像からそれぞれ切り出す。画像処理装置１４は、切り出された複数の撮像画像に対して視点変換処理を施す。画像処理装置１４は、当該複数の撮像画像を結合して、例えば車両１１の全周に亘る外部空間の俯瞰画像を生成する機能などを有してもよい。

図２を参照して、画像処理システム１０の各構成要素について具体的に説明する。

（撮像装置の構成）
撮像装置１２について説明する。撮像装置１２は、撮像光学系１５と、撮像素子１６と、入出力インターフェース１７と、メモリ１８と、プロセッサ１９と、を備える。

撮像光学系１５は、光学部材を含む。光学部材は、例えば１個以上のレンズおよび絞りなどを含んでもよい。撮像光学系１５は、被写体像を撮像素子１６の受光面に結像させる。撮像光学系１５は、例えば魚眼レンズとして機能し、比較的広い画角を有する。

撮像素子１６は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子１６の受光面上には、複数の画素が配列されている。撮像素子１６は、受光面上に結像された被写体像を撮像して撮像画像を生成する。

入出力インターフェース１７は、ネットワーク２０を介して、外部装置との間で情報の入出力を行うインターフェースである。ネットワーク２０は、例えば有線、無線、または車両１１に搭載されたＣＡＮ（Controller Area Network）などを含んでもよい。外部装置には、姿勢検出装置１３および画像処理装置１４が含まれる。外部装置には、例えば車両１１に備えられたＥＣＵ（Electronic Control Unit）、ディスプレイ、およびナビゲーション装置などが含まれてもよい。

メモリ１８は、例えば一次記憶装置および二次記憶装置などを含む。メモリ１８は、撮像装置１２の動作に必要な種々の情報およびプログラムを記憶する。

プロセッサ１９は、例えばＤＳＰ（Digital Signal Processor）などの専用プロセッサおよびＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。プロセッサ１９は、撮像装置１２全体の動作を制御する。

例えば、プロセッサ１９は、撮像素子１６の動作を制御して、周期的に、例えば３０ｆｐｓで撮像画像を生成する。プロセッサ１９は、撮像素子１６によって生成された撮像画像に対して、所定の画像処理を施す。所定の画像処理は、ホワイトバランス調整処理、露出調整処理、およびガンマ補正処理などを含んでもよい。所定の画像処理は、現在のフレームの撮像画像に対して行われてもよく、次回以降のフレームの撮像画像に対して行われてもよい。プロセッサ１９は、所定の画像処理が施された撮像画像を、入出力インターフェース１７を介して姿勢検出装置１３および画像処理装置１４へ出力する。

プロセッサ１９は、入出力インターフェース１７を介して他の撮像装置１２との間で同期信号を送受信可能であってもよい。同期信号によって、１個の撮像装置１２と１個以上の他の撮像装置１２との間で撮像タイミングを同期可能である。本実施形態において、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、およびリアカメラ１２ｃの撮像タイミングが同期される。

（姿勢検出装置の構成）
姿勢検出装置１３について説明する。姿勢検出装置１３は、入出力インターフェース２１と、メモリ２２と、プロセッサ２３と、を含む。

入出力インターフェース２１は、ネットワーク２０を介して、外部装置との間で情報の入出力を行うインターフェースである。外部装置には、撮像装置１２および画像処理装置１４が含まれる。外部装置には、例えば車両１１に備えられたＥＣＵ、ディスプレイ、およびナビゲーション装置などが含まれてもよい。

メモリ２２は、例えば一次記憶装置および二次記憶装置などを含む。メモリ２２は、姿勢検出装置１３の動作に必要な種々の情報およびプログラムを記憶する。例えば、メモリ２２は、後述する第１対応情報を記憶する。メモリ２２に記憶される情報の詳細については後述する。

プロセッサ２３は、例えばＤＳＰなどの専用プロセッサおよびＣＰＵなどの汎用プロセッサを含む。プロセッサ２３は、姿勢検出装置１３全体の動作を制御する。

例えば、プロセッサ２３は、入出力インターフェース２１を介して、左サイドカメラ１２ａおよび右サイドカメラ１２ｂの少なくとも一方から、撮像画像を取得する。本実施形態において、プロセッサ２３は、左サイドカメラ１２ａおよび右サイドカメラ１２ｂから１組の撮像画像を取得する。１組の撮像画像は、撮像タイミングが同期された左サイドカメラ１２ａおよび右サイドカメラ１２ｂが、それぞれ略同一のタイミングで撮像した撮像画像である。

プロセッサ２３は、取得された撮像画像に基づいて、車両１１の姿勢を検出する。以下、具体的に説明する。

（傾きαの検出処理）
図３を参照して、車両１１の前後方向の傾きα＝０における、左サイドカメラ１２ａと、左側前輪２４と、左側後輪２５と、の位置関係について説明する。車両１１の前後方向に平行であって路面に垂直な平面上に投影された左サイドカメラ１２ａ、左側前輪２４、および左側後輪２５の位置関係について説明する。

以下の説明において、距離Ｌ１は、左サイドカメラ１２ａと左側前輪２４との間の距離を示す。距離Ｈ１は、距離Ｌ１の、左サイドカメラ１２ａの光軸方向の成分を示す。距離Ｗ１は、距離Ｌ１の、左サイドカメラ１２ａの光軸に垂直な方向の成分を示す。したがって、距離Ｌ１、Ｈ１、およびＷ１は、次の式（１）を満たす。
Ｌ１＾２＝Ｈ１＾２＋Ｗ１＾２ （１）

距離Ｌ２は、左サイドカメラ１２ａと左側後輪２５との間の距離を示す。距離Ｈ２は、距離Ｌ２の、左サイドカメラ１２ａの光軸方向の成分を示す。距離Ｗ２は、距離Ｌ２の、左サイドカメラ１２ａの光軸に垂直な方向の成分を示す。したがって、距離Ｌ２、Ｈ２、およびＷ１は、次の式（２）を満たす。
Ｌ２＾２＝Ｈ２＾２＋Ｗ２＾２ （２）
ここで、傾きα＝０においては、Ｈ１＝Ｈ２である。

図４を参照して、車両１１の前後方向の傾きα≠０となった場合について説明する。図４は、例えば車両１１が前方向に走行しているときに減速または停止した状態を示す。かかる場合、車体の前方が沈み込み、車体の後方が浮き上がる。このとき、各車輪は、路面に接触しているものとする。各車輪は路面に接触した状態のまま、各車輪と車体との間のサスペンションが変形することによって、車体が路面および各車輪に対して相対的に傾く。

上述したように、撮像装置１２は、車両１１の車体に固定的に設置されている。このため、傾きα＝０の状態と比較して、傾きα≠０となると、左サイドカメラ１２ａおよび各車輪の相対的な位置関係が変化する。具体的には、傾きαと、距離Ｌ１、Ｌ２、Ｈ１、Ｈ２、Ｗ１、およびＷ２との間には、次の式（３）が成り立つ。
ｔａｎα＝（Ｈ２−Ｈ１）／（Ｗ１＋Ｗ２） （３）

左サイドカメラ１２ａの撮像画像について具体的に説明する。傾きα＝０において、撮像画像には、例えば図５に示すように、車両１１の一部２６と、左側前輪２４と、左側後輪２５と、が撮像されている。車両１１の一部２６は、例えば車体の左側面の少なくとも一部を含んでもよい。傾きα≠０になると、例えば図６に示すように、撮像画像における車両１１の一部２６の位置は変化しない一方で、車体と相対的に移動する左側前輪２４および左側後輪２５は、撮像画像における位置が変化する。傾きαに応じて、撮像画像における左側前輪２４および左側後輪２５の位置が変化する。

傾きαが比較的小さい範囲で変化する場合には、距離Ｗ１および距離Ｗ２は、傾きαによる変化が微小であるため、定数とみなすことができる。本実施形態において、姿勢検出装置１３のメモリ２２は、傾きα＝０における距離Ｗ１および距離Ｗ２を予め記憶する。

メモリ２２は、撮像画像における各車輪の位置と、車両１１の姿勢を検出するために用いられるパラメータと、の対応関係を示す第１対応情報を記憶する。撮像画像における各車輪の位置は、撮像画像における車輪の絶対位置であってもよく、撮像画像における車両１１の一部２６に対する車輪の相対位置であってもよい。第１対応情報は、例えば左サイドカメラ１２ａ用の第１対応情報と、右サイドカメラ１２ｂ用の第１対応情報と、を含む。例えば、左サイドカメラ１２ａ用の第１対応情報は、図７に示すように、撮像画像における左側前輪２４および左側後輪２５それぞれの画像上の位置と、距離Ｌ１および距離Ｌ２と、の対応関係を示す。右サイドカメラ１２ｂ用の第１対応情報については、左サイドカメラ１２ａ用の第１対応情報と類似しているため、説明は省略する。第１対応情報は、例えば実験またはシミュレーションによって予め決定可能である。

姿勢検出装置１３のプロセッサ２３は、左サイドカメラ１２ａから取得された撮像画像における各車輪の位置を検出する。例えば、プロセッサ２３は、当該撮像画像における左側前輪２４および左側後輪２５の位置を検出する。車輪の検出には、例えば、撮像画像に対してエッジ検出を施し、撮像画像上の楕円形状を車輪として検出するアルゴリズムが採用されるが、任意のアルゴリズムが採用可能である。

プロセッサ２３は、検出された左側前輪２４および左側後輪２５の位置に対応する距離Ｌ１および距離Ｌ２を抽出する。プロセッサ２３は、抽出された距離Ｌ１および距離Ｌ２と、メモリ２２に記憶された距離Ｗ１およびＷ２を用いて、上述した式（１）−式（３）によって算出したｔａｎαから傾きαを算出する。

傾きαを算出するためのアルゴリズムは、上述したものに限られない。例えば、第１対応情報は、撮像画像における左側前輪２４および左側後輪２５それぞれの画像上の位置と、距離Ｗ１、Ｗ２、Ｈ１、およびＨ２と、の対応関係を示す情報であってもよい。かかる場合、プロセッサ２３は、車両１１の各車輪の位置に対応するパラメータを抽出し、抽出されたパラメータを用いて上述のアルゴリズムの演算結果である傾きαを算出する。第１対応情報は、撮像画像における左側前輪２４および左側後輪２５それぞれの画像上の位置と、傾きαと、の対応関係を示す情報であってもよい。かかる場合、プロセッサ２３は、車両１１の各車輪の位置に対応する傾きαを抽出する。

上述のようにして、プロセッサ２３は、左サイドカメラ１２ａの撮像画像に基づいて、車両１１の前後方向の傾きαを検出する。

プロセッサ２３は、後述する傾きβを検出するために、右サイドカメラ１２ｂの撮像画像に基づいて、上述した左サイドカメラ１２ａの撮像画像を用いる場合と同じく、距離Ｌ１０、Ｌ２０、Ｈ１０、Ｈ２０、Ｗ１０、およびＷ２０を算出する。距離Ｌ１０は、右サイドカメラ１２ｂと右側前輪との間の距離を示す。距離Ｈ１０は、距離Ｌ１０の、右サイドカメラ１２ｂの光軸方向の成分を示す。距離Ｗ１０は、距離Ｌ１０の、右サイドカメラ１２ｂの光軸に垂直な方向の成分を示す。距離Ｌ２０は、右サイドカメラ１２ｂと右側後輪との間の距離を示す。距離Ｈ２０は、距離Ｌ２０の、右サイドカメラ１２ｂの光軸方向の成分を示す。距離Ｗ２０は、距離Ｌ２０の、右サイドカメラ１２ｂの光軸に垂直な方向の成分を示す。

（傾きβの検出処理）
図８を参照して、車両１１の左右方向の傾きβ≠０における、左サイドカメラ１２ａと、右サイドカメラ１２ｂと、左側前輪２４と、右側前輪２７と、の位置関係について説明する。車両１１の左右方向に平行であって路面に垂直な平面上に投影された左サイドカメラ１２ａ、右サイドカメラ１２ｂ、左側前輪２４、および右側前輪２７の位置関係について説明する。

以下の説明において、距離Ｑは、車両１１の左右方向における、左サイドカメラ１２ａと右サイドカメラ１２ｂとの間の距離を示す。本実施形態において、姿勢検出装置１３のメモリ２２は、距離Ｑを予め記憶する。

左サイドカメラ１２ａの撮像画像に基づいて算出された距離Ｈ１と、右サイドカメラ１２ｂの撮像画像に基づいて算出された距離Ｈ１０と、上述した距離Ｑと、の間には、次の式（４）が成り立つ。
ｓｉｎβ＝（Ｈ１０−Ｈ１）／Ｑ （４）

姿勢検出装置１３のプロセッサ２３は、上述のように算出された距離Ｈ１、距離Ｈ１０、およびメモリ２２に記憶された距離Ｑを用いて、上述した式（４）によって算出したｓｉｎβから傾きβを算出する。

（高さｈの検出処理）
プロセッサ２３は、上述のようにして算出された複数のパラメータに基づいて、車両１１の高さｈを算出してもよい。本実施形態において、複数のパラメータは、傾きα、傾きβ、距離Ｌ１、Ｌ２、Ｈ１、Ｈ２、Ｗ１、Ｗ２、Ｌ１０、Ｌ２０、Ｈ１０、Ｈ２０、Ｗ１０、およびＷ２０を含む。高さｈは、例えば路面から車両１１の任意の位置までの高さであってもよい。また、高さｈは、任意の車両定数にさらに基づいて算出されてもよい。車両定数は、例えば車両１１の寸法などを含んでもよい。

プロセッサ２３は、上述のようにして算出された傾きα、傾きβ、および高さｈを、車両１１の姿勢として検出する。プロセッサ２３は、現在のフレームおよび所定数の過去のフレームにおいてそれぞれ算出した傾きα、傾きβ、および高さｈそれぞれの平均値を、車両１１の姿勢として検出してもよい。プロセッサ２３は、車両１１の姿勢を示す姿勢情報を、画像処理装置１４へ出力する。姿勢情報は、傾きα、傾きβ、および高さｈを示す情報を含んでもよい。

（画像処理装置の構成）
図２を参照して、画像処理装置１４について説明する。画像処理装置１４は、入出力インターフェース２８と、メモリ２９と、プロセッサ３０と、を含む。

入出力インターフェース２８は、ネットワーク２０を介して、外部装置との間で情報の入出力を行うインターフェースである。外部装置には、撮像装置１２および姿勢検出装置１３が含まれる。外部装置には、例えば車両１１に備えられたＥＣＵ、ディスプレイ、およびナビゲーション装置などが含まれてもよい。

メモリ２９は、例えば一次記憶装置および二次記憶装置などを含む。メモリ２９は、画像処理装置１４の動作に必要な種々の情報およびプログラムを記憶する。

プロセッサ３０は、例えばＤＳＰなどの専用プロセッサおよびＣＰＵなどの汎用プロセッサを含む。プロセッサ３０は、画像処理装置１４全体の動作を制御する。

プロセッサ３０は、入出力インターフェース２８を介して、１個以上の撮像装置１２からそれぞれ撮像画像を取得し、姿勢検出装置１３から姿勢情報を取得する。プロセッサ３０は、車両１１の姿勢に応じて、撮像画像に支援画像を重畳させる重畳位置、および、撮像画像における画像処理範囲のうち、少なくとも一方を決定する。プロセッサ３０は、車両１１の姿勢が変化すると、重畳位置を移動させる。プロセッサ３０は、車両１１の姿勢が変化すると、画像処理範囲を移動させ、変形させ、および回転させる。

具体的には、プロセッサ３０は、基準状態における画像処理範囲の、被写体に対する相対位置関係を維持するように、車両１１の姿勢に応じて重畳位置および画像処理範囲を決定する。基準状態は、例えば傾きα＝０、傾きβ＝０、および高さｈが所定の基準値である状態を含んでもよい。車両１１の後方が浮き上がった場合、傾きαが増加する。傾きαが増加した場合、リアカメラ１２ｃの撮像画像における被写体は、撮像画像において下方に移動する。かかる場合、プロセッサ３０は、撮像画像において重畳位置および画像処理範囲を下方に移動させる。このように、プロセッサ３０は、車両１１の姿勢の変化による、撮像画像における被写体の位置ずれを低減するように、撮像画像における重畳位置および画像処理範囲を決定する。かかる構成によって、重畳位置および画像処理範囲の、被写体に対する位置ずれが低減可能である。

プロセッサ３０は、例えば車両１１の後進時の運転支援機能を実行する場合に、リアカメラ１２ｃの撮像画像から画像処理範囲を切り出して、重畳位置に支援画像を重畳する。プロセッサ３０は、支援画像が重畳された撮像画像を車両１１側へ出力する。出力された撮像画像は、例えば車両１１に備えられた表示装置に表示される。

プロセッサ３０は、例えば高速道路への合流時の運転支援機能を実行する場合に、右サイドカメラ１２ｂの撮像画像の画像処理範囲内において他の車両を検出する物体認識処理を行ってもよい。プロセッサ３０は、他の車両が検出された場合、他の車両の存在を車両１１側へ通知する。他の車両の存在の通知に応じて、例えば車両１１に備えられたスピーカから警告音が出力される。

図９を参照して、姿勢検出装置１３の上述した動作について説明する。本動作は、例えば撮像画像が生成される各フレームについて行われてもよく、所定間隔を開けて周期的に行われてもよい。

ステップＳ１００：姿勢検出装置１３のプロセッサ２３は、左サイドカメラ１２ａおよび右サイドカメラ１２ｂから１組の撮像画像を取得する。

ステップＳ１０１：プロセッサ２３は、ステップＳ１００で取得された１組の撮像画像と、メモリ２２に記憶された第１情報と、に基づいて、車両１１の姿勢を検出する。例えば、プロセッサ２３は、傾きα、傾きβ、および高さｈのうち少なくとも１つを、車両１１の姿勢として検出する。プロセッサ２３は、現在のフレームおよび所定数の過去のフレームにおいてそれぞれ算出した傾きα、傾きβ、および高さｈそれぞれの平均値を、車両１１の姿勢として検出してもよい。

ステップＳ１０２：プロセッサ２３は、ステップＳ１０１で検出された車両１１の姿勢を示す姿勢情報を、画像処理装置１４へ出力する。

図１０を参照して、画像処理装置１４の上述した動作について説明する。ここでは、車両１１の後進時の運転支援機能に関する動作を例示する。本動作は、例えば撮像画像が生成される各フレームについて行われてもよく、所定間隔を開けて周期的に行われてもよい。

ステップＳ２００：画像処理装置１４のプロセッサ３０は、リアカメラ１２ｃから撮像画像を取得する。

ステップＳ２０１：プロセッサ３０は、姿勢検出装置１３から車両１１の姿勢を示す姿勢情報を取得する。

ステップＳ２０２：プロセッサ３０は、ステップＳ２０１で取得された姿勢情報が示す車両１１の姿勢に応じて、重畳位置および画像処理範囲のうち少なくとも一方を決定する。プロセッサ３０は、各撮像画像について決定された重畳位置または画像処理範囲を、当該撮像画像を生成した撮像装置１２に対応付けてメモリ２９に記憶してもよい。ここでは、重畳位置および画像処理範囲の双方が決定されるものとして説明する。

ステップＳ２０３：プロセッサ３０は、撮像画像から画像処理範囲を切り出す。

ステップＳ２０４：プロセッサ３０は、切り出された撮像画像の重畳位置に、支援画像を重畳する。

ステップＳ２０５：プロセッサ３０は、ステップＳ２０４で支援画像が重畳された撮像画像を車両１１側へ出力する。

従来技術において、車両の傾斜を検出するために、撮像装置にチルトセンサが設けられる。しかしながら、撮像装置にチルトセンサなどの追加の構成要素を設けることは、撮像装置の大型化および高コスト化を招き得る。したがって、車両の傾斜など、車両の姿勢を検出するための構成について改善の余地があった。

これに対して、本開示の一実施形態に係る姿勢検出装置１３は、車両１１に設けられた車輪を撮像した撮像画像を取得し、当該撮像画像における車輪の位置に基づいて、車両１１の姿勢を検出する。例えば、姿勢検出装置１３は、左サイドカメラ１２ａの撮像画像を取得し、当該撮像画像における車輪の位置に基づいて、車両１１の姿勢として傾きαを検出する。したがって、例えばチルトセンサなどの構成要素を撮像装置１２に追加することなく、車両１１の姿勢が検出可能である。

姿勢検出装置１３は、複数の撮像画像を取得し、複数の撮像画像における複数の車輪の位置に基づいて、車両１１の姿勢を算出してもよい。かかる構成によって、例えば、左サイドカメラ１２ａの撮像画像および右サイドカメラ１２ｂの撮像画像における４個の車輪の位置に基づいて、例えば傾きα、傾きβ、および高さｈを車両１１の姿勢として検出可能である。したがって、車両１１の姿勢の検出精度が向上する。

姿勢検出装置１３は、撮像画像における車輪の位置と、車両１１の姿勢を検出するために用いられるパラメータと、の対応関係を示す第１対応情報を記憶してもよい。当該パラメータは、例えば距離Ｌ１および距離Ｌ２を含んでもよい。かかる構成によって、撮像画像における車輪の位置が検出されれば、第１対応情報から対応するパラメータが抽出可能である。このため、例えば撮像画像を用いて距離Ｌ１および距離Ｌ２を算出する構成と比較して、処理負担の軽減および処理速度の向上が可能である。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、姿勢検出装置１３のプロセッサ２３の機能の一部または全部を、姿勢検出装置１３と通信可能な他の装置、例えば撮像装置１２に具備させてもよい。例えば、姿勢検出装置１３自体が、１つの撮像装置１２に包含されてもよい。類似して、画像処理装置１４のプロセッサ３０の機能の一部または全部を、画像処理装置１４と通信可能な他の装置、例えば撮像装置１２に具備させてもよい。例えば、画像処理装置自体が、１つの撮像装置１２に包含されてもよい。

上述した実施形態において、姿勢検出装置１３が第１対応情報に基づいて車両１１の姿勢を検出する構成について説明したが、車両１１の姿勢を検出する構成はこれに限られない。例えば、姿勢検出装置１３のメモリ２２が、第１対応情報に替えて、第２対応情報を記憶してもよい。

第２対応情報は、複数の撮像画像における複数の車輪の位置と、車両１１の姿勢と、の対応関係を示す情報である。例えば、第２対応情報は、図１１に示すように、左サイドカメラ１２ａの撮像画像および右サイドカメラ１２ｂの撮像画像における、左側前輪、左側後輪、右側前輪、および右側後輪それぞれの位置と、傾きα、傾きβ、および高さｈと、の対応関係を示す情報であってもよい。

第２対応情報は、左サイドカメラ１２ａまたは右サイドカメラ１２ｂの撮像画像における、左側または右側の前輪および後輪それぞれの位置と、傾きαと、の対応関係を示す情報であってもよい。第２対応情報は、左サイドカメラ１２ａの撮像画像および右サイドカメラ１２ｂの撮像画像における、３つの車輪それぞれの位置と、傾きα、傾きβ、および高さｈと、の対応関係を示す情報であってもよい。３つの車輪は、例えば左側前輪２４、左側後輪２５、および右側前輪２７などを含んでもよい。

第２対応情報が記憶される上述の構成によれば、姿勢検出装置１３は、１以上の撮像画像における複数の車輪の位置が検出されれば、第２対応情報から車両１１の姿勢を直接的に抽出可能である。このため、処理負担の軽減および処理速度が向上可能である。

上述の実施形態において、姿勢検出装置１３は、車両１１が特定の状態である場合に、車両１１の姿勢の検出を停止してもよい。例えば、姿勢検出装置１３は、車両１１の姿勢の検出精度が低下し得る状態である場合に、車両１１の姿勢の検出を停止する。例えば、車両１１がオフロードなど平坦ではない路面を走行している状態である場合、１以上の車輪が路面に接地していない瞬間が存在し得る。かかる場合、車両１１の姿勢の検出精度が低下し得る。具体的には、姿勢検出装置１３は、車両１１の状態を示す多様な車両情報を、ネットワーク２０を介して車両１１側から取得する。車両情報は、例えば車両１１の振動を示す情報を含んでもよい。かかる場合、姿勢検出装置１３は、車両１１の振動の振幅が所定の閾値以上であると判定した場合、車両１１の姿勢の検出を停止する。車両情報は、車両１１が走行中の路面の状態を示す情報を含んでもよい。かかる場合、姿勢検出装置１３は、路面が平坦ではないと判定した場合、または路面がオフロードであると判定した場合、車両１１の姿勢の検出を停止する。

上述の実施形態において、画像処理システム１０が左サイドカメラ１２ａを用いて行う動作は、左サイドカメラ１２ａに替えて右サイドカメラ１２ｂを用いて行ってもよい。例えば、上述の実施形態の説明において、「左サイドカメラ１２ａ」および「左側」などの文言を、それぞれ「右サイドカメラ１２ｂ」および「右側」と読み替えてもよい。

上述した実施形態において、左サイドカメラ１２ａの撮像画像における左側前輪２４および左側後輪２５の位置に基づいて、車両１１の前後方向の傾きαを、車両１１の姿勢として検出する構成について説明したが、車両１１の姿勢の検出方法はこれに限られない。車両１１が備える４個の車輪のうち、１以上の撮像画像における任意の２つの車輪の位置に基づいて、第１方向の傾きが算出可能である。類似して、車両１１が備える４個の車輪のうち、１以上の撮像画像における任意の３つの車輪の位置に基づいて、第１方向の傾き、第２方向の傾き、および車両１１の高さが算出可能である。

上述の実施形態に係る画像処理システム１０の各構成要素は、例えば携帯電話またはスマートフォンなどの情報処理装置として実現され、車両１１と有線または無線によって接続されてもよい。

１０ 画像処理システム
１１ 車両
１２ 撮像装置
１２ａ 左サイドカメラ
１２ｂ 右サイドカメラ
１２ｃ リアカメラ
１３ 姿勢検出装置
１４ 画像処理装置
１５ 撮像光学系
１６ 撮像素子
１７ 入出力インターフェース
１８ メモリ
１９ プロセッサ
２０ ネットワーク
２１ 入出力インターフェース
２２ メモリ
２３ プロセッサ
２４ 左側前輪
２５ 左側後輪
２６ 車両の一部
２７ 右側前輪
２８ 入出力インターフェース
２９ メモリ
３０ プロセッサ

Claims (10)

1. 車両の車輪を撮像した撮像画像を取得する入出力インターフェースと、
   前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出するプロセッサと、
   を備える、車両の姿勢検出装置。
2. 請求項１に記載の姿勢検出装置であって、
   前記プロセッサは、前記撮像画像における前記車輪の絶対位置に基づいて、前記車両の姿勢を検出する、姿勢検出装置。
3. 請求項１に記載の姿勢検出装置であって、
   前記撮像画像は、前記車輪および前記車両の一部を撮像した画像であり、
   前記プロセッサは、前記撮像画像における、前記車両の前記一部に対する前記車輪の相対位置に基づいて、前記車両の姿勢を検出する、姿勢検出装置。
4. 請求項１乃至３の何れか一項に記載の姿勢検出装置であって
   前記入出力インターフェースは、複数の前記車輪を撮像した複数の前記撮像画像を取得し、
   前記プロセッサは、前記複数の撮像画像における前記複数の車輪の位置に基づいて、前記車両の姿勢を検出する、姿勢検出装置。
5. 請求項１乃至４の何れか一項に記載の姿勢検出装置であって、
   前記プロセッサは、前記車両の第１方向の傾き、前記車両の第２方向の傾き、および、前記車両の高さのうち、少なくとも１つを前記車両の姿勢として検出する、姿勢検出装置。
6. 請求項１乃至５の何れか一項に記載の姿勢検出装置であって、
   前記撮像画像における前記車輪の位置と、前記車両の姿勢を検出するために用いられるパラメータと、の対応関係を示す第１対応情報を記憶するメモリをさらに備え、
   前記プロセッサは、前記第１対応情報に基づいて、前記撮像画像における前記車輪の位置に対応するパラメータを抽出し、該パラメータを用いる演算の結果を、前記車両の姿勢として検出する、姿勢検出装置。
7. 請求項１乃至５の何れか一項に記載の姿勢検出装置であって、
   前記撮像画像における前記車輪の位置と、前記車両の姿勢を示す姿勢情報と、の対応関係を示す第２対応情報を記憶するメモリをさらに備え、
   前記プロセッサは、前記第２対応情報に基づいて、前記撮像画像における前記車輪の位置に対応する姿勢情報を取得し、該姿勢情報に示される姿勢を前記車両の姿勢として検出する、姿勢検出装置。
8. 車両の車輪を撮像した撮像画像を生成する撮像装置と、
   前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出する姿勢検出装置と、
   検出された前記姿勢に基づいて、前記撮像画像に画像を重畳させる位置、および、前記撮像画像における画像処理範囲のうち、少なくとも一方を決定する画像処理装置と、
   を備える、画像処理システム。
9. 車輪と、
   前記車輪を撮像した撮像画像を生成する撮像装置と、
   前記撮像画像における前記車輪の位置に基づいて、車両の姿勢を検出する姿勢検出装置と、
   検出された前記姿勢に基づいて、前記撮像画像に画像を重畳させる位置、および、前記撮像画像における画像処理範囲のうち、少なくとも一方を決定する画像処理装置と、
   を備える、車両。
10. 姿勢検出装置が実行する車両の姿勢検出方法であって、
    車両の車輪を撮像した撮像画像を取得し、
    前記撮像画像における前記車輪の位置に基づいて、前記車両の姿勢を検出する、姿勢検出方法。

Images