JP6023030B2 - 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム - Google Patents

Description

本発明は、移動体のステアリングの舵角を補正する舵角補正方法、舵角補正装置、撮像装置、および舵角補正システムに関する。

従来、自動車等の移動体に車載カメラを設置して、撮像した移動体の周辺画像に運転を支援するための指標となる画像を重畳して表示する技術が知られている。このような指標を周辺画像に重畳するために、舵角センサ等により検出されるステアリング舵角が用いられる。検出されるステアリング舵角は、経年使用やステアリング交換等により実際の舵角とずれが生じる場合があるため、ステアリング舵角の中立点補正が行われる（例えば、特許文献１）。

特許第４３２３４０２号明細書

しかしながら、従来技術では、ステアリング舵角を補正するためにステアリングを最大舵角又は最小舵角に正確に操作する必要がある。このように、ステアリング舵角の中立点補正には特別な工程が必要であり、操作が煩雑となっていた。

かかる事情に鑑みてなされた本発明の目的は、操作の煩雑さを低減して舵角を補正可能な舵角補正方法、舵角補正装置、撮像装置、および舵角補正システムを提供することにある。

上記課題を解決するために本発明に係る舵角補正方法は、
左右の操舵輪を同時にそれぞれ撮像した一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得するステップと、
前記一組の画像上の前記左右の操舵輪の対称度を算出するステップと、
前記対称度に基づいて前記ステアリング舵角を補正する補正値を算出するステップとを含む
ことを特徴とする。

また、本発明に係る舵角補正方法は、
異なるステアリング舵角において前記一組の画像を取得するステップを含み、
前記補正値を算出するステップでは、ステアリング舵角に対する前記対称度の分布に基づいて前記補正値を算出する
ことが好ましい。

また、本発明に係る舵角補正方法は、
前記一組の画像上の前記左右の操舵輪を楕円検出により抽出するステップを含み、
前記対称度を算出するステップでは、検出する楕円のパラメータを用いて前記対称度を算出する
ことが好ましい。

また、本発明に係る舵角補正方法は、
前記対称度を算出するステップでは、楕円の短辺および傾きの少なくとも一方を示すパラメータに対して、他のパラメータよりも大きな重付けを施して前記対称度を算出する
ことが好ましい。

また、本発明に係る舵角補正方法は、
前記対称度を算出するステップでは、前記一組の画像に基づく画像マッチングによる相関度を用いて前記対称度を算出する
ことが好ましい。

また、本発明に係る舵角補正装置は、
左右の操舵輪を同時にそれぞれ撮像した一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得する取得部と、
前記一組の画像上の前記左右の操舵輪の対称度に基づいて前記舵角を補正する補正値を算出する演算部とを備える
ことを特徴とする。

また、本発明に係る撮像装置は、
左右の操舵輪を同時にそれぞれ撮像した一組の画像および前記一組の画像の撮像時における移動体のステアリング舵角を対応付けて取得する取得部と、前記一組の画像上の前記左右の操舵輪の対称度に基づいて前記舵角を補正する補正値を算出する演算部とを備える舵角補正装置と、
前記一組の画像を生成する第１の撮像部と、
前記移動体の周辺領域を撮像した周辺画像を生成する第２の撮像部と、
前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部とを備える
ことを特徴とする。

また、本発明に係る舵角補正システムは、
左右の操舵輪を同時にそれぞれ撮像した一組の画像を生成する第１の撮像部と、
前記一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得する取得部と、
前記一組の画像上の前記左右の操舵輪の対称度に基づいて前記舵角を補正する補正値を算出する演算部と、
前記移動体の周辺領域を撮像した周辺画像を生成する第２の撮像部と、
前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部と、
前記指標を重畳した周辺画像を表示する表示部とを備える
ことを特徴とする。

本発明に係る舵角補正方法、舵角補正装置、撮像装置、および舵角補正システムによれば、操作の煩雑さを低減して舵角を補正可能となる。

本発明の第１の実施形態に係る舵角補正システムの構成要素の配置を示す概略図である。 本発明の第１の実施形態に係る舵角補正システムの概略構成を示す機能ブロック図である。 図１の右サイドカメラの撮像画像の例を示す図である。 図１の左サイドカメラの撮像画像の例を示す図である。 図１の表示部に表示される画像の例を示す図である。 図３のサイドカメラの撮像画像に対し楕円検出を施した例を示す図である。 本発明の第１の実施形態に係る対称度の確率分布を示す図である。 本発明の第１の実施形態に係る舵角補正システムの動作を説明するフローチャートである。 本発明の第２の実施形態に係る対称度の確率分布を示す図である。 本発明の変形例による舵角補正システムの動作を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

（第１の実施形態）
はじめに、本発明の第１の実施形態に係る舵角補正システムについて説明する。図１は、第１の実施形態に係る舵角補正システムＡの構成要素の移動体１０における配置を示す概略図である。移動体１０は、例えば車両である。

舵角補正システムＡの２つのサイドカメラ１１は、例えば、操舵輪１５の側面中心から、鉛直上向きに対して、移動体１０の側方からみて移動体１０の後方に向かって４５°（図１（ｂ）参照）、後方からみて移動体１０の左右外側に向かって１５°となる位置に、移動体１０の左右対称に配置される（図１（ｃ）参照）。また、２つのサイドカメラ１１は、例えば左右のサイドミラー１６にそれぞれ配置される。左右のサイドカメラ１１は、移動体１０の左右の操舵輪１５の一方を含む移動体１０の周辺領域をそれぞれ撮像可能である。舵角補正システムＡのリアカメラ１２は、移動体１０の後方周辺領域を撮像可能となるように配置される。舵角補正システムＡの舵角補正装置１３は、移動体１０の任意の位置に配置される。舵角補正システムＡの表示部１４は、運転席から視認可能な位置に配置され、サイドカメラ１１およびリアカメラ１２が出力する画像を表示する。

次に、舵角補正システムＡの構成および機能を、図２を用いて詳細に説明する。図２に示すように、舵角補正システムＡは、サイドカメラ１１、リアカメラ１２、舵角補正装置１３、および表示部１４を備える。

サイドカメラ１１は、光学系１７と、サイドカメラ撮像部（第１の撮像部）１８と、舵角判断部１９と、サイドカメラ制御部２０と、を備える。

光学系１７は、複数のレンズを含んで構成され、被写体像を結像させる。

サイドカメラ撮像部１８は、例えばＣＭＯＳ撮像素子であって、光学系１７によって結像する被写体像を撮像した画像を生成する。前述のように、左右のサイドカメラ１１は、左右の操舵輪１５の一方を含む移動体１０の周辺領域をそれぞれ撮像可能となるように配置され、生成される画像は、多様な操舵輪舵角θ_Ｒである操舵輪１５の画像を含み得る。ここで、操舵輪舵角θ_Ｒとは、操舵輪１５の操舵可能範囲における舵角中立点を０°とする操舵輪１５の切れ角である。本実施形態では、ステアリングの右方向回転により操舵輪舵角θ_Ｒが増加する。操舵輪舵角θＲは、舵角中立点からステアリングの右方向回転により正の値、舵角中立点からステアリングの左方向回転により負の値となる。

ここで、サイドカメラ１１が生成する画像について説明する。画像上の操舵輪１５は、操舵輪舵角θ_Ｒによって形状が異なる。図３は、異なる操舵輪舵角θ_Ｒにおいて右サイドカメラ１１が生成する画像の例を示し、図３（ａ）はθ_Ｒ＝０°、図３（ｂ）はθ_Ｒ＝１０°、図３（ｃ）はθ_Ｒ＝２０°、図３（ｄ）はθ_Ｒ＝３０°、図３（ｅ）はθ_Ｒ＝−３０°である。画像上の操舵輪１５の側面は、操舵輪１５の舵角中立点（θ_Ｒ＝０°）において楕円形状である（図３（ａ）参照）。操舵輪舵角θ_Ｒが０°から増加すると、操舵輪１５の側面の一部が移動体１０の影に隠れ、楕円の一部が欠けた形状となる（図３（ｂ）−（ｄ）参照）。一方、操舵輪舵角θ_Ｒが０°から減少すると、ある舵角以下で操舵輪１５の側面は画像上に写らなくなる（図３（ｅ）参照）。

左サイドカメラ１１の生成する画像上の操舵輪１５も同様に、操舵輪舵角θ_Ｒによって形状が異なる。図４は、異なる操舵輪舵角θ_Ｒにおいて右サイドカメラ１１が生成する画像の例を示し、図４（ａ）はθ_Ｒ＝０°、図４（ｂ）はθ_Ｒ＝−３０°、図４（ｃ）はθ_Ｒ＝３０°である。操舵輪舵角θ_Ｒが０°から減少すると、操舵輪１５の側面の一部が移動体１０の影に隠れ、楕円の一部が欠けた形状となる（図４（ｂ）参照）。一方、操舵輪舵角θ_Ｒが０°から増加すると、ある舵角以上で操舵輪１５の側面は画像上に写らなくなる（図４（ｃ）参照）。操舵輪舵角θ_Ｒ＝０°であるとき、左右のサイドカメラ１１がそれぞれ生成する画像上の操舵輪１５は左右対称となる（図３（ａ）及び図４（ａ）参照）。

舵角判断部１９は（図２参照）、例えばＣＡＮ等の車載ネットワーク１００を介して、サイドカメラ撮像部１８による撮像時に舵角センサが検出するステアリング舵角θ_ｍを取得する。ステアリング舵角θ_ｍは、ステアリングの操舵可能範囲における舵角中立点を０°とするステアリングの切れ角である。本実施形態では、ステアリングの右方向回転により舵角センサが検出するステアリング舵角θ_ｍが増加する。一般に、舵角センサが検出するステアリング舵角θ_ｍおよび操舵輪舵角θ_Ｒは、一対一の対応関係を有する。

サイドカメラ制御部２０は、サイドカメラ１１の各部位の動作を制御する。例えば、サイドカメラ制御部２０は、左右のサイドカメラ１１の各サイドカメラ撮像部１８に、周期的に、例えば３０ｆｐｓで、左右の操舵輪１５を同時にそれぞれ撮像した一組の画像を生成させる。また、サイドカメラ制御部２０は、車載ネットワーク１００を介して情報の送受信を行う。

リアカメラ１２は、光学系２１と、リアカメラ撮像部（第２の撮像部）２２と、リアカメラ記憶部２３と、画像重畳部２４と、リアカメラ制御部２５と、を備える。

光学系２１は、サイドカメラ１１の光学系１７と同様に、複数のレンズを含んで構成され、被写体像を結像させる。

リアカメラ撮像部２２は、サイドカメラ撮像部１８と同様に、光学系２１によって結像する周辺画像を撮像する。

リアカメラ記憶部２３は、舵角補正装置１３から取得する補正値θ_ａを記憶する。補正値θ_ａの詳細については後述する。

画像重畳部２４は、車載ネットワーク１００を介して、舵角センサが検出するステアリング舵角θ_ｍを取得する。また、画像重畳部２４は、舵角センサが検出するステアリング舵角θ_ｍを用いて、リアカメラ撮像部２２が撮像した周辺画像上の所定位置に運転支援のための指標を重畳する。好適には、画像重畳部２４は、リアカメラ記憶部２３が記憶する補正値θ_ａにより補正した舵角センサが検出するステアリング舵角θ_ｍを用いて、運転支援のための指標を重畳する。

運転支援のための指標３０とは、例えば図５に示すように、車幅延長線３１および距離目安線３２である。車幅延長線３１は、後進時の移動体１０の両端の通過する軌跡であり、ステアリングの舵角に応じて形状および表示位置が異なる。距離目安線３２は、現在の移動体１０から所定の距離、例えば１ｍおよび３ｍの距離を示す。運転者は、指標３０によって移動体１０の後進時の予測進行方向を認識可能となる。

リアカメラ制御部２５（図２参照）は、リアカメラ１２の各部位の動作を制御する。例えば、リアカメラ制御部２５は、舵角補正装置１３から補正値θ_ａを受信してリアカメラ記憶部２３に記憶させる。また、リアカメラ制御部２５は、車載ネットワーク１００を介して情報の送受信を行う。

舵角補正装置１３は、舵角センサが検出するステアリング舵角θ_ｍをステアリングの実際の舵角θ_ｔと一致させるように補正するための補正値θ_ａを算出する。補正値θ_ａの算出の詳細については後述する。舵角補正装置１３は、取得部２６と、補正装置記憶部２７と、抽出部２８と、演算部２９と、を備える。

取得部２６は、例えば車載ネットワーク１００を介して、左右のサイドカメラ１１から、左右の操舵輪１５を同時にそれぞれ撮像した一組の画像および画像撮像時に舵角センサが検出したステアリング舵角θ_ｍを対応付けて取得する。

補正装置記憶部２７は、演算部２９が算出する一組の画像上の左右の操舵輪１５の対称度を、画像撮像時に舵角センサが検出したステアリング舵角θ_ｍと対応付けて蓄積する。対称度の詳細については後述する。また、補正装置記憶部２７は、演算部２９が算出する補正値θ_ａを記憶する。

抽出部２８は、取得部２６が取得した一組の画像上の操舵輪１５を抽出する。例えば、抽出部２８は、エッジ検出および楕円検出（近似）により画像上の操舵輪１５を抽出する。エッジ検出には、例えばｃａｎｎｙフィルタを用いて、画像上のエッジ部分を検出する。楕円検出には、例えばＨｏｕｇｈ変換を用いて、操舵輪１５を近似した楕円形状およびその楕円パラメータを算出する。楕円パラメータは、楕円の中心座標（ｘ，ｙ）、長辺の長さａ、短辺の長さｂ、および画像上の水平軸と楕円の長軸とがなす傾きφである。

好適には、抽出部２８は、操舵輪１５が含まれ得る画像上の所定領域において、画像上の操舵輪１５を抽出する。操舵輪１５が含まれ得る画像上の所定領域は、例えばサイドカメラ１１の取付け角度のばらつきを考慮して予め決定してもよく、抽出部２８が任意の方法により自動的に決定してもよい。

ここで、楕円検出により検出される楕円について説明する。図６は、異なる操舵輪舵角θ_Ｒにおいて右サイドカメラ１１が生成する画像について検出する楕円（図６太線）の例を示し、図６（ａ）はθ_Ｒ＝０°、図６（ｂ）はθ_Ｒ＝１０°、図６（ｃ）はθ_Ｒ＝２０°、図６（ｄ）はθ_Ｒ＝３０°である。また、図６は、操舵輪１５のホイール部分について楕円検出を施す例を示すが、例えば操舵輪１５のタイヤ部分について楕円検出を施してもよい。θ_Ｒが１０°以上の例では、操舵輪１５のホイール部分は楕円の一部が欠けた形状であったが（図３（ｂ）−（ｄ）参照）、楕円検出により操舵輪１５のホイール部分に適合する楕円が検出される（図６（ｂ）−（ｄ）参照）。

検出される楕円は、撮像時の操舵輪舵角θ_Ｒによって形状が異なる。詳細には、検出される楕円は、操舵輪舵角θ_Ｒが０°から増加すると、画像上の水平軸と楕円の長軸とがなす傾きφが減少し、短辺の長さｂが増加する。一方、操舵輪舵角θ_Ｒが増加しても、他の楕円パラメータ、すなわち中心座標（ｘ，ｙ）および長辺の長さａの変化が比較的小さい（図６参照）。また、異なる操舵輪舵角θ_Ｒにおいて左サイドカメラ１１が生成する画像について検出する楕円も同様に、操舵輪舵角θ_Ｒが０°から減少すると、画像上の水平軸と楕円の長軸とがなす傾きφが減少し、短辺の長さｂが増加する。

演算部２９（図２参照）は、一組の画像上の左右の操舵輪１５の対称度を算出する。対称度は、一組の画像上の左右の操舵輪１５の形状の左右対称性の度合いを示す指標である。例えば、本実施形態において、対称度は、画像マッチングの相関度である。演算部２９は、抽出部２８が検出した一組の楕円画像のうち一方を左右反転させて画像マッチングを行い、画像マッチングの相関度を対称度として算出する。また、演算部２９は、算出した対称度（相関度）と、対称度の算出に用いた一組の画像の撮像時に舵角センサが検出したステアリング舵角θ_ｍとを対応づけたデータを、補正装置記憶部２７に記憶させる。

また、演算部２９は、補正装置記憶部２７に記憶させた複数のデータに基づいて、舵角センサが検出したステアリング舵角θ_ｍに対する対称度（相関度）の確率分布を算出する（図７参照）。確率分布には、任意の確率分布モデルを用いることができる。また、演算部２９は、算出した確率分布のピーク位置におけるステアリング舵角θ_ｐを算出する。好適には、演算部２９は、確率分布を算出するのに十分なデータが蓄積されたときに、確率分布のピーク位置におけるステアリング舵角θ_ｐを算出する。例えば、演算部２９は、蓄積したデータの数が所定の閾値ｔｈ_１以上であって、且つ、算出した確率分布の分散σ^２が所定の閾値ｔｈ_２未満であるときに、確率分布のピーク位置におけるステアリング舵角θ_ｐを算出するように構成してもよい。

ここで、演算部２９が算出する確率分布のピーク位置におけるステアリング舵角θ_ｐは、ステアリングの実際の舵角θ_ｔが０°であるときに舵角センサが検出するステアリング舵角θ_ｍと推定される。舵角センサが検出するステアリング舵角θ_ｍとステアリングの実際の舵角θ_ｔとの間にずれ（以下、検出ずれという）が存在する場合には、ステアリングの実際の舵角θ_ｔが０°であるときに舵角センサが検出するステアリング舵角θ_ｍは、舵角センサの検出ずれに等しい。演算部２９は、確率分布のピーク位置におけるステアリング舵角θ_ｐを舵角センサの検出ずれΔθとして決定する。

演算部２９は、決定した検出ずれΔθの絶対値が所定の閾値ｔｈ_３以上であるとき、すなわち、舵角センサが検出するステアリング舵角θ_ｍとステアリングの実際の舵角θ_ｔとのずれが大きいとき、検出ずれΔθを補正値θ_ａとして補正装置記憶部２７に記憶させる。あるいは、演算部２９は、補正装置記憶部２７が既に補正値θ_ａを記憶している場合には、検出ずれΔθから補正値θ_ａを減算した値の絶対値が所定の閾値ｔｈ_３以上であるとき、検出ずれΔθを新たな補正値θ_ａとして更新し、補正装置記憶部２７に記憶させる。演算部２９は、車載ネットワーク１００を介して、他の構成要素に補正値θ_ａを送信する。

次に、第１の実施形態に係る舵角補正システムＡが実行する補正値算出処理について、図８のフローチャートを用いて説明する。本処理は、例えば、移動体１０が走行を開始したときに実行される。

はじめに、左右のサイドカメラ１１のサイドカメラ撮像部１８は、左右の操舵輪１５の一方を含む移動体１０の周辺領域をそれぞれ同時に撮像した一組の画像を生成する（ステップＳ１００）。

次に、舵角判断部１９は、車載ネットワーク１００を介して、ステップＳ１００の一組の画像の撮像と同時に舵角センサが検出したステアリング舵角θ_ｍを取得する（ステップＳ１０１）。

次に、舵角補正装置１３の取得部２６は、例えば車載ネットワーク１００を介して、ステップＳ１００の一組の画像およびステップＳ１０１の舵角センサが検出したステアリング舵角θ_ｍを対応付けて取得する（ステップＳ１０２）。

次に、抽出部２８は、ステップＳ１０２の一組の画像に対してエッジ検出を施す（ステップＳ１０３）。

続いて、抽出部２８は、ステップＳ１０３においてエッジ検出を施した一組の画像に対して楕円検出を施す（ステップＳ１０４）。

次に、演算部２９は、ステップＳ１０２の一組の画像上の左右の操舵輪１５の対称度を算出する（ステップＳ１０５）。例えば、演算部２９は、ステップＳ１０４において楕円検出を施した一組の画像のうち一方を左右反転させて画像マッチングを行ない、画像マッチングの相関度を対称度として算出する。

続いて、演算部２９は、ステップＳ１０５で算出した対称度と、ステップＳ１０２において取得した舵角センサが検出したステアリング舵角θ_ｍとを対応づけたデータを、補正装置記憶部２７に記憶させる（ステップＳ１０６）。

続いて、演算部２９は、ステップＳ１０６において補正装置記憶部２７に記憶させたデータに基づいて、舵角センサが検出するステアリング舵角θ_ｍに対する対称度（相関度）の確率分布を算出する（ステップＳ１０７）。

続いて、演算部２９は、確率分布を算出するのに十分なデータが蓄積されたか否かを判定する（ステップＳ１０８）。例えば、演算部２９は、補正装置記憶部２７に記憶させたデータの数が所定の閾値ｔｈ_１以上であって、且つ、ステップＳ１０７で算出した確率分布の分散σ^２が所定の閾値ｔｈ_２未満であるときに、十分なデータが蓄積されたと判定する。十分なデータが蓄積されたとき（ステップＳ１０８−Ｙｅｓ）、ステップＳ１０９に進む。一方、十分なデータが蓄積されていないとき（ステップＳ１０８−Ｎｏ）、ステップＳ１００に戻って処理を反復し、データを蓄積する。

ステップＳ１０８において、十分なデータが蓄積されたとき（ステップＳ１０８−Ｙｅｓ）、演算部２９は、ステップＳ１０７で算出した確率分布のピーク位置におけるステアリング舵角θ_ｐを算出する（ステップＳ１０９）。

続いて、演算部２９は、ステップＳ１０９において算出した確率分布のピーク位置におけるステアリング舵角θ_ｐを検出ずれΔθとして決定する。さらに、演算部２９は、検出ずれΔθの絶対値が、所定の閾値ｔｈ_３以上であるか否かを判定する（ステップＳ１１０）。検出ずれΔθの絶対値が閾値ｔｈ_３以上であるとき（ステップＳ１１０−Ｙｅｓ）、ステップＳ１１１に進む。一方、検出ずれΔθの絶対値が閾値ｔｈ_３未満であるとき（ステップＳ１１０−Ｎｏ）、処理を終了する。

ステップＳ１１０において、検出ずれΔθの絶対値が閾値ｔｈ_３以上であるとき（ステップＳ１１０−Ｙｅｓ）、演算部２９は、検出ずれΔθを補正値θ_ａとして補正装置記憶部２７に記憶させる（ステップＳ１１１）。

このように、第１の実施形態の舵角補正システムによれば、左右の操舵輪１５を同時にそれぞれ撮像した一組の画像の対称度に基づいて、補正値θ_ａを算出する。このため、例えば移動体１０の走行中に舵角センサが検出するステアリング舵角θ_ｍの補正を自動的に行うことができ、操作者による操作の煩雑さを低減できる。また、例えば初期状態など、舵角センサに測定ずれΔθが発生する前の初期状態における情報を必要としないため、舵角補正システムを移動体１０に搭載する時期によらず補正が可能である。

また、第１の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θ_ｍに対する対称度の確率分布に基づいて補正値θ_ａを算出するため、ステアリングの実際の舵角θ_ｔが０°であるときに舵角センサが検出するステアリング舵角θ_ｍを精度良く推定でき、補正値θ_ａの算出精度を向上できる。また、舵角センサが検出するステアリング舵角θ_ｍの測定誤差の影響を低減し、補正値θ_ａの算出精度を向上できる。

また、第１の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θ_ｍに対する対称度の確率分布を算出するのに十分なデータが蓄積されているとき、確率分布のピーク位置におけるステアリング舵角θ_ｐを算出し、θ_ｐを用いて補正値θ_ａを算出する。このため、例えばデータ数が少ない場合や分散が大きい場合等、ピークを正しく検出できていない場合に補正値θ_ａの算出・更新を抑制し、補正値θ_ａの安定性を向上できる。

また、第１の実施形態の舵角補正システムによれば、舵角センサが検出するステアリング舵角θ_ｍとステアリングの実際の舵角θ_ｔとの間のずれ（検出ずれ）Δθの絶対値が閾値ｔｈ_３以上であるときに、検出ずれΔθを補正値θ_ａとして記憶する。このため、舵角センサが検出するステアリング舵角θ_ｍの測定誤差等の影響で生じる微小なずれによる補正値θ_ａの算出・更新を抑制し、補正値θ_ａの算出精度を向上できる。

また、第１の実施形態の舵角補正システムによれば、一組の画像に対してエッジ検出を施すため、移動体１０の走行中において、例えば天気や外の明るさ等の環境の変化による測定画像への影響を低減し、画像マッチングによる相関度の算出精度を向上できる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態に係る舵角補正システムＡの構成は第１の実施形態と同様であるが、舵角補正装置１３が行う処理が異なる。

第２の実施形態に係る舵角補正装置１３は、第１の実施形態と同様に、取得部２６と、補正装置記憶部２７と、抽出部２８と、演算部２９と、を備える。取得部２６および補正装置記憶部２７については、第１の実施形態と同様であるため、説明は省略する。

抽出部２８は、第１の実施形態と同様に、一組の画像上の操舵輪１５を抽出して楕円パラメータを算出する。第２の実施形態に係る抽出部２８は、一組の画像のうち一方を左右反転させて、両画像上の操舵輪１５を抽出し、楕円パラメータをそれぞれ算出する。

演算部２９は、第１の実施形態と同様に、一組の画像上の左右の操舵輪１５の対称度を算出する。ここで、第２の実施形態に係る演算部２９は、抽出部２８が楕円検出により算出した楕円パラメータを用いて、対称度を算出する。詳細には、演算部２９は、抽出部２８が左右反転させた一方の画像から検出した操舵輪１５の楕円パラメータにより定まる５次元パラメータ空間上の点αを算出する。同様に、演算部２９は、他方の画像から検出した操舵輪１５の楕円パラメータにより定まる５次元パラメータ空間上の点βを算出する。パラメータ空間上の２点間の距離ｄは、ｄ＝|α−β|により算出される。ここで、両画像からそれぞれ検出した楕円形状の相関が高いとき、各楕円パラメータは互いに近い値をとるため、距離ｄは小さな値となる。一方、２つの楕円形状の相関が小さいとき、各楕円パラメータは互いに異なる値をとるため、距離ｄは大きな値となる。演算部２９は、楕円パラメータを用いて算出するパラメータ空間上の距離ｄを対称度として算出する。このとき、一般に、距離ｄの値が小さいほど対称性が高くなる。

好適には、演算部２９は、複数の楕円パラメータに対して重付けを行った値を用いて対称度を算出する。前述のように、検出される楕円は、操舵輪舵角θ_Ｒによって異なる形状となる（図６参照）。ここで、操舵輪舵角θ_Ｒの変化に対し、楕円の傾きφおよび短辺の長さｂの変化量が大きく、他の楕円パラメータ、すなわち中心座標と長辺の長さは変化量が小さい。すなわち、楕円の傾きφおよび短辺の長さｂは、操舵輪舵角θ_Ｒの変化に対し感度が高い。例えば、楕円パラメータのうち傾きφおよび短辺の長さｂの少なくとも一方に、他のパラメータ、すなわち座標（ｘ，ｙ）および長辺の長さａより大きな重付けを行ってパラメータ空間上の点ａおよび点ｂを決定し、２点間の距離ｄを対称度として算出する。

また、演算部２９は、第１の実施形態と同様に、対称度（距離ｄ）の確率分布を算出し、算出した確率分布のピーク位置におけるステアリング舵角θ_ｐに基づいて補正値θ_ａを算出する。本実施形態において、楕円パラメータを用いて算出するパラメータ空間上の距離ｄを対称度として用いるため、確率分布のピークは下向きにあらわれる（図９参照）。

このように、第２の実施形態の舵角補正システムによれば、一組の画像のうち一方を左右反転させて検出した楕円のパラメータに基づいて算出するパラメータ空間上の距離ｄを、一組の画像上の左右の操舵輪１５の対称度として算出する。このため、画像マッチングにより対称度を算出する第１の実施形態と比較して処理負担を低減できる。また、複数の楕円パラメータのうち、操舵輪舵角θ_Ｒの変化に対し感度が高い楕円パラメータに大きな重付けをして対称度を算出することにより、対称度の算出精度を向上し、補正値θ_ａの算出精度を向上できる。

（変形例）
次に、本発明の実施形態の変形例に係る舵角補正システムについて説明する。変形例に係る舵角補正システムＡの構成は第１の実施形態と同様であるが、対称度の確率分布を算出せず、一組の画像が左右対称であるときに補正値θ_ａを算出する点が異なる。

変形例に係る舵角補正装置１３は、第１の実施形態と同様に、取得部２６と、補正装置記憶部２７と、抽出部２８と、演算部２９と、を備える。取得部２６および抽出部２８については、第１の実施形態と同様であるため、説明は省略する。

補正装置記憶部２７は、演算部２９が算出する補正値θ_ａを記憶する。

演算部２９は、第１の実施形態と同様に、一組の画像上の左右の操舵輪１５の対称度を算出する。変形例において、画像マッチングによる相関度又は楕円パラメータ空間上の２点間距離ｄの何れを対称度として採用してもよい。以下においては、一組の画像のうち一方を左右反転させた画像と他方の画像との画像マッチングによる相関度を算出し、対称度として採用する例について説明する。

演算部２９は、算出した対称度（相関度）に基づいて、一組の画像上の左右の操舵輪１５の形状が左右対称か否かを判定する。左右対称か否かの判定は、例えば、対称度である相関度が所定の閾値ｔｈ_４以上であるとき、形状が左右対称と判定する。演算部２９は、操舵輪１５の形状が左右対称と判定するとき、対称度の算出に用いた一組の画像の撮像時に舵角センサが検出したステアリング舵角θ_ｍを、舵角センサが検出するステアリング舵角θ_ｍとステアリングの実際の舵角θ_ｔとの間のずれ（検出ずれ）Δθとして決定する。また、演算部２９は、第１の実施形態と同様に、決定した検出ずれΔθの絶対値が所定の閾値ｔｈ_３以上であるとき、検出ずれΔθを補正値θ_ａとして補正装置記憶部２７に記憶する。

次に、変形例に係る舵角補正システムＡが実行する補正値算出処理について、図１０のフローチャートを用いて説明する。

はじめに、左右のサイドカメラ１１のサイドカメラ撮像部１８は、左右の操舵輪１５の一方を含む移動体１０の周辺領域をそれぞれ同時に撮像した一組の画像を生成する（ステップＳ２００）。

次に、舵角判断部１９は、車載ネットワーク１００を介して、ステップＳ２００の一組の画像の撮像と同時に舵角センサが検出したステアリング舵角θ_ｍを取得する（ステップＳ２０１）。

次に、舵角補正装置１３の取得部２６は、例えば車載ネットワーク１００を介して、ステップＳ２００の一組の画像およびステップＳ２０１の舵角センサが検出したステアリング舵角θ_ｍを対応付けて取得する（ステップＳ２０２）。

次に、抽出部２８は、ステップＳ２０２の一組の画像に対してエッジ検出を施す（ステップＳ２０３）。

続いて、抽出部２８は、ステップＳ２０３においてエッジ検出を施した一組の画像に対して楕円検出を施す（ステップＳ２０４）。

次に、演算部２９は、ステップＳ２０２の一組の画像上の左右の操舵輪１５の対称度を算出する（ステップＳ２０５）。例えば、演算部２９は、ステップＳ２０４において楕円検出を施した一組の画像のうち一方を左右反転させて画像マッチングを行ない、画像マッチングの相関度を対称度として算出する。

続いて、演算部２９は、ステップＳ２０２の一組の画像上の左右の操舵輪１５の形状が左右対称か否かを判定する（ステップＳ２０６）。例えば、演算部２９は、対称度である相関度が所定の閾値ｔｈ_４以上であるとき、形状が左右対称と判定する。形状が左右対称と判定するとき（ステップＳ２０６−Ｙｅｓ）、ステップＳ２０７に進む。一方、形状が左右対称でないと判定するとき（ステップＳ２０６−Ｎｏ）、ステップＳ２００に戻る。

ステップＳ２０６において、形状が左右対称と判定するとき（ステップＳ２０６−Ｙｅｓ）、演算部２９は、ステップＳ２０２の舵角センサが検出したステアリング舵角θ_ｍを検出ずれΔθとして決定し、検出ずれΔθの絶対値が、所定の閾値ｔｈ_３以上であるか否かを判定する（ステップＳ２０７）。検出ずれΔθの絶対値が閾値ｔｈ_３以上であるとき（ステップＳ２０７−Ｙｅｓ）、ステップＳ２０８に進む。一方、検出ずれΔθの絶対値が閾値ｔｈ_３未満であるとき（ステップＳ２０７−Ｎｏ）、処理を終了する。

ステップＳ２０７において、検出ずれΔθの絶対値が閾値ｔｈ_３以上であるとき（ステップＳ２０７−Ｙｅｓ）、演算部２９は、検出ずれΔθを補正値θ_ａとして補正装置記憶部２７に記憶させる（ステップＳ２０８）。

このように、変形例の舵角補正システムによれば、一組の画像と舵角センサが検出するステアリング舵角θ_ｍとを対応付けて取得するたび、算出する対称度に基づいて両画像上の左右の操舵輪１５の形状が左右対称か否かを判定する。そして、形状が左右対称と判定するとき、補正値θ_ａを算出する。このため、第１の実施形態と異なり、舵角センサが検出するステアリング舵角θ_ｍと対称度とを対応付けたデータを補正装置記憶部２７に蓄積する必要がなく、記憶するデータ容量を低減できる。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、舵角補正システムにおける各構成要素は、分割および再配置が可能である。例えば、舵角補正装置１３を撮像装置に包含させてもよい。また例えば、舵角補正システムは、運転者を支援するナビゲーション装置を更に備え、ナビゲーション装置が舵角補正装置１３の演算部２９や、リアカメラ１２の画像重畳部２４を備える構成であってもよい。

また、上述の実施形態において、舵角補正装置１３の取得部２６は、車載ネットワーク１００を介してサイドカメラ１１の画像を取得するが、専用線を介して取得するように構成してもよい。

また、抽出部２８が検出した楕円が正しく操舵輪１５を抽出しているか否かを判別する構成を備えてもよい。例えば、画像上の検出した楕円内において、エッジ検出を施す前の画像の色情報を用いて操舵輪１５を抽出しているか否か判断することが考えられる。このようにして、画像上の操舵輪１５の抽出精度を向上して対称度の算出精度を向上することにより、補正値θ_ａの算出精度を向上できる。

また、上述の実施形態において、舵角補正装置１３は、算出した補正値θ_ａを補正装置記憶部２７に記憶させるが、ステアリング舵角センサに補正値θ_ａを送信し、ステアリング舵角センサの出力値を補正するように構成してもよい。この場合、画像重畳部２４は、車載ネットワーク１００を介して取得するステアリング舵角を補正する必要がないため、処理負担を軽減できる。

また、上述の実施形態において、画像重畳部２４はリアカメラ１２の撮像画像に指標３０を重畳するが、例えば、移動体１０の前方の周辺画像を撮像するフロントカメラの撮像画像に重畳するように構成してもよい。

また、上述の実施形態において、画像マッチングによる相関度又は楕円パラメータに基づくパラメータ空間上の２点間距離を対称度として用いたが、一組の画像上の左右の操舵輪１５の形状の対称性の度合いを示す指標であれば任意の指標を採用可能である。

１０ 移動体
１１ サイドカメラ
１２ リアカメラ
１３ 舵角補正装置
１４ 表示部
１５ 操舵輪
１６ サイドミラー
１７ 光学系
１８ サイドカメラ撮像部
１９ 舵角判断部
２０ サイドカメラ制御部
２１ 光学系
２２ リアカメラ撮像部
２３ リアカメラ記憶部
２４ 画像重畳部
２５ リアカメラ制御部
２６ 取得部
２７ 補正装置記憶部
２８ 抽出部
２９ 演算部
３０ 指標
３１ 車幅延長線
３２ 距離目安線
１００ 車載ネットワーク

Claims (8)

1. 左右の操舵輪を同時にそれぞれ撮像した一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得するステップと、
   前記一組の画像上の前記左右の操舵輪の対称度を算出するステップと、
   前記対称度に基づいて前記ステアリング舵角を補正する補正値を算出するステップとを含む
   ことを特徴とする舵角補正方法。
2. 請求項１に記載の舵角補正方法であって、
   異なるステアリング舵角において前記一組の画像を取得するステップを含み、
   前記補正値を算出するステップでは、ステアリング舵角に対する前記対称度の分布に基づいて前記補正値を算出する
   ことを特徴とする舵角補正方法。
3. 請求項１又は２に記載の舵角補正方法であって、
   前記一組の画像上の前記左右の操舵輪を楕円検出により抽出するステップを含み、
   前記対称度を算出するステップでは、検出する楕円のパラメータを用いて前記対称度を算出する
   ことを特徴とする舵角補正方法。
4. 請求項３に記載の舵角補正方法であって、
   前記対称度を算出するステップでは、楕円の短辺および傾きの少なくとも一方を示すパラメータに対して、他のパラメータよりも大きな重付けを施して前記対称度を算出する
   ことを特徴とする舵角補正方法。
5. 請求項１又は２に記載の舵角補正方法であって、
   前記対称度を算出するステップでは、前記一組の画像に基づく画像マッチングによる相関度を用いて前記対称度を算出する
   ことを特徴とする舵角補正方法。
6. 左右の操舵輪を同時にそれぞれ撮像した一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得する取得部と、
   前記一組の画像上の前記左右の操舵輪の対称度に基づいて前記舵角を補正する補正値を算出する演算部とを備える
   ことを特徴とする舵角補正装置。
7. 請求項６に記載の舵角補正装置と、
   前記一組の画像を生成する第１の撮像部と、
   前記移動体の周辺領域を撮像した周辺画像を生成する第２の撮像部と、
   前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部とを備える
   ことを特徴とする撮像装置。
8. 左右の操舵輪を同時にそれぞれ撮像した一組の画像を生成する第１の撮像部と、
   前記一組の画像と、前記一組の画像の撮像時における移動体のステアリング舵角と、を対応付けて取得する取得部と、
   前記一組の画像上の前記左右の操舵輪の対称度に基づいて前記舵角を補正する補正値を算出する演算部と、
   前記移動体の周辺領域を撮像した周辺画像を生成する第２の撮像部と、
   前記周辺画像上に、前記補正値に基づいて指標を重畳する画像重畳部と、
   前記指標を重畳した周辺画像を表示する表示部とを備える
   ことを特徴とする舵角補正システム。

Images