JP2014229080A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】カメラを取り付けている移動物体の姿勢が安定していることを検知することなく、消失線算出に有効な消失点を判定すること。
【解決手段】画像入力部１は、カメラによって対象物が撮影された画像を入力し、消失点算出部２は、画像において対象物に対応する消失点を算出し、判定部４は、異なるタイミングで対象物が撮影された複数の画像のそれぞれに含まれる複数の消失点の時系列の座標変化が、予め定められた条件を満たすか否かを判定し、出力部５は、座標変化が条件を満たす場合、複数の消失点の座標情報のうち少なくとも１つを出力する。
【選択図】図８

Description

本発明は、カメラ画像から得られる消失点を検出する画像処理装置及び画像処理方法に関するものである。

３次元空間の実映像を２次元平面に投影する透視射影において、３次元空間上の平行線は２次元平面に投影された画像上では無限遠の１点で交差し、一般にこの交差点を「消失点」と称する。カメラ画像処理の分野では、カメラ画像上の消失点を検出することにより、カメラの光軸位置又は設置位置のずれの検出、カメラ向きの検出などに利用できることが知られている（例えば特許文献１、２参照）。

また、異なるタイミングで算出される複数の消失点を同一のカメラ画像に重ねて、カメラ画像上の複数の消失点の位置を結んで得られる仮想的な直線（以下、「消失線」と称する）から、カメラを取り付けた際の設置角（ロール角及びピッチ角）を推定できることが知られている（例えば非特許文献１参照）。ここで、カメラ設置におけるロール方向、ロール角とは、カメラの光軸方向を軸として回転する方向及びその角度のことであり、ピッチ方向、ピッチ角とは、カメラの左右方向を軸として回転する方向及びその角度のことである。

特開２０００−２４２８９９号公報（特許第３８０７６５１号） 特開２０００−１４２２２１号公報（特許第４２３４２４０号）

Ling-Ling Wang, "Camera Calibration by Vanishing Lines for 3D Computer Vision",IEEE TRANSACTIONS on Pattern Analysis and Machine Intelligence Vol.13, No.4 April 1991, pp370-376

しかしながら、従来の画像処理装置では、消失線算出のため消失点を検出する際に、カメラを取り付けている移動物体の路面に対する姿勢が安定していなければならず、そのため移動物体が安定した姿勢であるか否かを検知しなければならないという問題があった。例えば、車載カメラの場合には、画像処理装置は、車載センサ又はナビゲーションシステムの情報を用いて、車両の前後に加速度がかかっていないか、車両が傾いていないか、直線走行中であるか、等の走行状態を検知することにより、車両が安定した姿勢であるか否かを判断していた。

また、検出される消失点にはカメラ画像撮影時の走行状況・道路環境等に応じた位置誤差が含まれる。しかし、従来技術では、検出した消失点の位置誤差の程度が不明であるため、複数の消失点を用いて消失線を算出する際、位置誤差の大きな不要な消失点を取り除き、消失線の算出に有効な消失点（つまり、位置誤差が少ない消失点）を選択する判断ができないという問題があった。

本発明の目的は、カメラを取り付けている移動物体の姿勢が安定していることを検知することなく、消失線算出に有効な消失点を判定することができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明の一態様に係る画像処理装置は、カメラによって対象物が撮影された画像を入力する入力部と、前記画像において、前記対象物に対応する消失点を算出する算出部と、異なるタイミングで前記対象物が撮影された複数の画像のそれぞれに含まれる複数の消失点の時系列の座標変化が、予め定められた条件を満たすか否かを判定する判定部と、前記座標変化が前記条件を満たす場合、前記複数の消失点の座標情報のうち少なくとも１つを出力する出力部と、を具備する構成を採る。

本発明の一態様に係る画像処理方法は、カメラによって対象物が撮影された画像を入力し、前記画像において、前記対象物に対応する消失点を算出し、異なるタイミングで前記対象物が撮影された複数の画像のそれぞれに含まれる複数の消失点の時系列の座標変化が、予め定められた条件を満たすか否かを判定し、前記座標変化が前記条件を満たす場合、前記複数の消失点の座標情報のうち少なくとも１つを出力する。

本発明によれば、カメラを取り付けている移動物体の姿勢が安定していることを検知することなく、消失線算出に有効な消失点を判定することができる。

消失点の説明に供する図 消失線の説明に供する図 走行中の消失点の軌跡の概念図 直進走行時の消失点軌跡の説明に供する図 左旋回時の消失点軌跡の説明に供する図 車線変更時の消失点軌跡の説明に供する図 本発明の実施の形態１に係る画像処理装置の主要構成を示すブロック図 本発明の実施の形態１に係る画像処理装置の構成を示すブロック図 消失点の軌跡の説明に供する図 本発明の実施の形態１に係る消失点の軌跡に関するテンプレートの一例を示す図 本発明の実施の形態１に係る画像処理装置の処理を示すフロー図 本発明の実施の形態１のバリエーション１に係る消失点の軌跡に関するテンプレートの一例を示す図 発明の実施の形態１のバリエーション１に係る画像処理装置の処理を示すフロー図 本発明の実施の形態２に係る画像処理装置の処理を示すフロー図 本発明の実施の形態３に係る走行シーンの状態遷移を示す図 本発明の実施の形態３に係る画像処理装置の処理を示すフロー図 本発明の実施の形態３に係る各走行モデルにおける車両の状態遷移を示す図 本発明の実施の形態３に係る画像処理装置の状態遷移に関する処理を示すフロー図 本発明の実施の形態３に係る画像処理装置の走行モデル処理を示すフロー図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

各実施の形態に係る画像処理装置（後述する）は、停止時（一時停止時）又は直進定速走行時又は平行線内の位置変更時の所定の平面に対するカメラの設置角度（少なくともロール角を含む）を、複数の特定の消失点の画像上の位置に基づいて推定する。ここで、「平行線」は、上記所定の平面に存在する２本以上の平行線である。また、「特定の消失点」とは、移動物体が停止時又は直進定速走行時等における、カメラ画像上の位置が安定した消失点のことである。この特定の消失点を、消失線（後述）の算出に有効な消失点と称することもある。

また、以下の説明では、一例として、画像処理装置が、車両に前向きに設置された車載カメラで撮影された道路面（所定の平面）上の道路境界線（平行線）の消失点を算出する場合について説明する。

また、以下の説明では、車両におけるロール方向、ロール角とは、車両の前後方向を軸として回転する方向及びその角度のことであり、車両におけるピッチ方向、ピッチ角とは、車両の左右方向を軸として回転する方向及びその角度のことである。

まず、消失点、消失線及び消失点の軌跡について説明する。

［消失点］
図１は消失点の説明に供する図である。

図１Ａは車載カメラで撮影された画像例を示す。図１Ａには、道路路面上に１組の平行な車線境界線（白い直線）が描かれている。図１Ｂは図１Ａに示す画像における消失点の説明図であり、図１Ａに示す平行な白線を奥行き方向に延長し、交差する点（“＋”）が消失点である。

［消失線］
図２は消失線の説明に供する図である。

図２Ａは、車線内を車両が上方向に走行している様子を示す。図２Ａにおいて、時刻T=t1では、車線内のほぼ中央位置を車両が車線境界線に平行に走行中であり、時刻T=t2では、車線内の左側を車線境界線に対して車両がやや右方向に向いて走行中であり、時刻T=t3では、車線内の右側を車線境界線に対して車両がやや左方向を向いて走行中である。

図２Ｂは、図２Ａに示す各時刻でのカメラ画像から得られる車線境界線の消失点の位置を同一のカメラ画像に重畳した様子を示す。また、図２Ｂには、時刻T=t1、T=t2、T=t3の各時刻に得られる消失点P1,P2,P3の３つの消失点を結んで得られる消失線L0が示されている。

ここで、カメラがロール方向に傾かず、路面に対し水平に設置されている場合には、消失線はカメラ画像上で水平となる。一方、カメラがロール方向に傾いて設置されている場合には、図２Ｂに示すように、カメラの傾き角が消失線の傾きとなって現れる（例えば、非特許文献１参照）。

［消失点の軌跡］
次に、いくつかの走行シーン（車両の走行状態）における、カメラ画像上の消失点の時系列の座標変化、即ち、消失点の軌跡について説明する。

図２に示すように、車線境界線に対するカメラの撮影方向が車線境界線に対して平行でなく、左右方向に角度を為す場合、消失点は、中央位置から左右に移動することが分かる。すなわち、車線境界線に対してカメラの撮影方向が右側を向くと、カメラ画像上の消失点位置は左側にずれ、車線境界線に対してカメラの撮影方向が左側を向くと、カメラ画像上の消失点位置は右側にずれる。

同様に、カメラの撮影方向の上下方向への変化に伴い消失点は上下する。例えば、走行中に加速すると車両にかかる加速度により、車両はピッチ上方向にやや傾く。これに伴って、カメラの撮影方向は上方向にずれるため、カメラ画像上の消失点位置は下方向にずれる。逆に、走行中に減速すると車両はピッチ下方向にやや傾く。これにともなって、カメラの撮影方向は下方向にずれるため、カメラ画像上の消失点位置は上方向にずれる。

図３は、走行中の消失点の軌跡の概念図である。

（１）は車線境界線に沿って車両が直進走行中の場合の消失点の軌跡を示し、（２）は交差点などにおいて車両が左旋回中の消失点の軌跡を示し、（３）は車線変更などで車両の走行位置を左車線から右車線に変更する場合の消失点の軌跡を示す。

以下、図４、図５、図６を用いて、図３に示す（１）〜（３）の消失点軌跡について更に詳細に説明する。

図４は直進走行時の消失点軌跡の説明に供する図である（図３の（１）に対応）。

一般に、直進中は車両のロール方向の動きに比べ、加減速に伴う車両のピッチ方向の動きの方が大きい。よって、直進走行時には、車両の動きに伴う消失点の軌跡は、加減速中の場合には上下に動き、定速走行中又は停止中の場合には一定の位置周辺に位置することになる。

図４Ａは直進走行時の加速中における消失点の軌跡を示す。図４Ａにおいて、時刻T=t0では、車両は、一定速度で直進走行をしており、すなわち、車両の前後方向の加速度がかかっておらず、車両がピッチ方向に傾いていないので、消失点はほぼ中央付近に位置する。時刻T=t1では、車両が加速中であり、車両がピッチ上方向に傾いているので、消失点は下方向にずれる。通常、車両の加速の度合いが大きいほど、消失点が下方向にずれる幅は大きくなる。時刻T=t2では、車両の加速が終了し、車両の前後方向の加速度がかかっておらず、車両はピッチ方向に傾いていないので、消失点はほぼ中央付近に位置する。

図４Ｂは直進走行時の減速中における消失点の軌跡を示す。図４Ｂでは、消失点は直進走行時の加速中における消失点の軌跡（図４Ａ）と逆の軌跡（すなわち、上方向へのずれ）を描く。

図４Ｃは定速で直進中（定速走行中）の消失点の軌跡を示す。図４Ｃに示すように、路面状態、車両の振動等による若干のピッチ方向及びロール方向のずれはあるものの、各時刻の消失点は、ほぼ一定の位置の周辺に分布する。

図４Ｄは停止中における消失点の軌跡を示す。図４Ｄに示すように、停止中には、消失点はほぼ一点に近い位置に分布する。

図５は交差点左折などにおける左旋回時の消失点軌跡の説明に供する図である（図３の（２）に対応）。

なお、通常、旋回の際、車両の前後方向及び左右方向に発生する加速度により、車両はピッチ方向及びロール方向に傾くので、消失点は上下方向にも若干ずれる。ただし、消失点の左右方向への変位と比較して、上下方向への変位は小さいため、図５では、消失点の上下方向のずれを図示していない。

図５Ａは左旋回中の消失点の軌跡を示す。図５Ａは、旋回開始前の時刻T=t0からT=t1,T=t2と旋回が進むにつれて、消失点が右側に移動していく様子を示す。

図５Ｂは、左旋回中において、旋回直前に走行してきた車線（第１の車線）から得られる第１の消失点と、異なる車線（例えば第１の車線に直交する車線（第２の車線））から得られる第２の消失点と、が同時に現れる様子を示す。つまり、図５Ｂは、車載カメラの撮影対象領域において異なる方向に伸びる複数の平行線（車線境界線）が存在する場合の消失点の軌跡を示す。図５Ｄは、図５Ｂに示す消失点軌跡を描く時刻における車両を交差点の上から見た様子を示す。図５Ｂ及び図５Ｄに示すように、旋回中の時刻T=t1では、カメラ画像上に第２の車線から得られる第２の消失点が現れ、時刻T=t2へと旋回が進むにつれて第１の消失点が右側へ移動するのに伴い、第２の消失点も同一方向に移動する。

図５Ｃは、左旋回中において、例えば歩行者が横断中のため、車両が一時停止した場合の消失点の軌跡を示す。図５Ｃに示すように、時刻T=t1〜t2の間（一時停止中）は消失点が同じ位置に留まっている。

図６は、片側２車線の道路の左側車線を走行している車両が右側車線へ車線変更する時の消失点軌跡の説明に供する図である（図３の（３）に対応）。

図６Ａは車線変更時の消失点の軌跡を示し、図６Ｂは、図６Ａに示す消失点軌跡を描く時刻における車両を道路の上から見た様子を示す。

図６Ｂに示すように、車両の位置変更開始前の時刻T=t0までは車両の前後方向は、車線境界線に平行な方向である。車両は、時刻T=t0から車線境界線に対して右方向に方向転換を行い、時刻T=t1で車線境界線に対する右方向の傾きが最大になる。よって、図６Ａに示すように、消失点は、T=t0〜t1にかけて左方向へ移動する。

そして、車両は、時刻T=t1以降、車線境界線に平行な前方への方向回帰により、時刻T=t2で車線境界線と平行な方向に戻る。よって、図６Ａに示すように、消失点は、T=t1〜t2にかけて右方向へ移動する（T=t0の位置へ戻る）。

なお、方向転換中（T=t0〜t1）及び前方への方向回帰中（T=t1〜t2）の双方において車両のロール方向の傾きが発生するが、方向転換中と方向回帰中とでは、当該傾きの方向は逆方向となる。そのため、時刻T=t1の前後では、ロールする方向が反転することになり、ロール方向の傾きが０となる時点が存在する。ここでは、ロール方向の傾きが０となる状態を「反転過渡状態」と称する。

以上、図４、図５、図６を用いて説明した通り、直進走行時の加速／減速中・定速走行中・停止中、交差点等での旋回中・一時停止中、及び、車線変更中、等の車両の走行シーン（走行状態）に応じて、消失点は異なる軌跡を描くことが分かる。

そこで、各実施の形態に係る画像処理装置（後述する）は、これらの消失点に関する特性を利用することにより、消失点の軌跡に応じて、車両の走行シーンの挙動を捉え、消失線の算出に有効な消失点の条件を消失点の軌跡に関して定義することにより、算出される複数の消失点の中から、消失線の算出に有効な消失点のみを抽出する。

なお、旋回時の消失点軌跡の説明（図５）では、一例として、交差点での左旋回について説明したが、これに限定されない。例えば、交差点右折などにおける右旋回時の消失点軌跡は、左旋回時の消失点軌跡（図５）とほぼ左右反転された軌跡を描く（図示せず）。また、車線変更時の消失点軌跡の説明（図６）では、一例として、２車線道路の左車線から右車線への移動について説明したが、これに限定されない。例えば、右車線から左車線への車線変更時の消失点軌跡は、左車線から右車線への車線変更時の消失点軌跡（図６）とほぼ左右反転された軌跡を描く（図示せず）。

また、車両が道路外から車道へ進入しつつ旋回する場合、又は、駐車場内で旋回する場合にも、車線境界線又は駐車スペースを示す直線の組（平行線）に対応する消失点は、上述した消失点と同様の性質を有する軌跡を描く。また、位置変更において、複数の車線間の移動のみでなく、同一車線内における左右方向の移動でも、図６に示す消失点軌跡と同様の性質の軌跡を描くことになる。また、追い越し走行の場合には、右車線への位置移動と左車線への位置移動とが続けて発生した消失点軌跡を描くことになる。

また、ここでは、車載カメラが前向きに設置される場合について説明したが、後ろ向きに設置された車載カメラから得られる消失点についても同様の動きをとる。ただし、車載カメラが後ろ向きに設置される場合には、カメラ画像上の消失点の左右方向の動きは、車載カメラが前向きに設置される場合（図５、図６）と逆になる。

以下、上述した消失点軌跡の特性を利用した本発明の各実施の形態について説明する。具体的には、実施の形態１では、消失点の軌跡（消失点の時系列の座標変化）を消失点列（消失点群）の図形として捉えた場合について説明し、実施の形態２では、消失点の軌跡を消失点の時系列の座標変位として捉えた場合について説明し、実施の形態３では、消失点の軌跡を消失点の座標変位から得られる走行シーンの状態遷移として捉えた場合について説明する。

（実施の形態１）
［画像処理装置１０の主要構成］
図７は本実施の形態に係る画像処理装置の主要構成を示すブロック図である。

図７において、画像入力部１は、カメラによって対象物が撮影された画像を入力し、消失点算出部２は、上記画像において、対象物に対応する消失点を算出し、判定部４は、異なるタイミングで対象物が撮影された複数の画像のそれぞれに含まれる複数の消失点の時系列の座標変化が、予め定められた条件を満たすか否かを判定し、出力部５は、座標変化が条件を満たす場合、複数の消失点の座標情報のうち少なくとも１つを出力する。

［画像処理装置１０の構成］
図８は本実施の形態に係る画像処理装置の構成を示すブロック図である。

図８に示す画像処理装置１０は、画像入力部１と、消失点算出部２と、消失点軌跡モデル保持部３と、判定部４と、出力部５と、を含む構成を採る。なお、後述のとおり、消失点軌跡モデル保持部３の機能は、外部が備えてもよく、また、判定部４に含まれてもよい。

画像入力部１は、例えば、車載カメラによって対象物が撮影された画像を入力し、得た画像を消失点算出部２へ出力する。

消失点算出部２は、画像入力部１から入力された画像を用いて、車載カメラの撮影対象領域に存在する平行線（ここでは、車線境界線）に対応する、画像上での消失点（すなわち、上記対象物に対応する消失点）を算出する。消失点算出部２は、算出した消失点の情報を判定部４に出力する。

消失点軌跡モデル保持部３は、画像上での消失点の軌跡に関する情報を保持する。本実施の形態では、消失点の軌跡に関する情報として、少なくとも１つの走行シーンに関する消失線の算出に有効な消失点（位置誤差が少ない消失点）の軌跡を表す情報が含まれる。この情報は、例えば、消失点の軌跡を示すテンプレート（消失点軌跡モデル）である。すなわち、本実施の形態では、消失点の軌跡を消失点列の図形として捉える。消失点軌跡モデル保持部３は、消失点の軌跡に関する情報を判定部４に出力する。なお、後述のとおり、消失点軌跡モデル保持部３の機能は、外部が備えてもよく、また、判定部４に含まれてもよい。

判定部４は、複数の消失点から成る消失点の軌跡が、予め定められた条件を満たすか否かを判定する。例えば、判定部４は、消失点算出部２から入力される、時系列において連続して算出された複数の消失点、及び、消失点軌跡モデル保持部３が保持する情報に基づいて、上記複数の消失点が有効な消失点であるか否かを判定する。具体的には、判定部４は、複数の消失点から成る消失点の軌跡と、消失点軌跡モデル保持部３が保持する情報に示される消失点の軌跡（テンプレート）とが合致する場合、テンプレートと合致した消失点が有効な消失点であると判定する。判定部４は、判定結果及び消失点の情報を出力部５に出力する。

出力部５は、判定部４の判定結果に基づいて、複数の消失点のうち、有効な消失点を示す情報を出力する。例えば、出力部５は、判定部４において消失点の軌跡が上記条件を満たすと判定された場合、複数の消失点の座標情報のうち少なくとも１つを出力する。

なお、図８に示す画像処理装置１０は、消失点軌跡モデル保持部３を備える構成を採るが、この構成に限定されない。例えば、画像処理装置１０は、消失点軌跡モデル保持部３を備えずに、消失点の軌跡に関する情報を外部から受け取ってもよいし、判定部４に含まれてもよい。

［画像処理装置１０の動作］
以上のように説明した画像処理装置１０における消失点の判定処理について詳細に説明する。

図９は、図４、図５、図６で説明した走行シーンの一部に対するより詳細な消失点軌跡の一例を示す。図９Ａ〜図９Ｄにおいて、画面（実線で囲まれた領域）上の消失点の軌跡を左側に示し、画面上の一部領域（点線で囲まれた領域）の拡大図を右側に示す。

また、図９において「◆」は各時刻で算出された１つの消失点を示し、図９Ａ〜図９Ｄは、各走行シーンにおいて、時系列で連続する消失点から成る消失点の軌跡を示す。具体的には、図９Ａは加速して直進時の消失点軌跡を示し、図９Ｂは定速で直進時の消失点軌跡を示し、図９Ｃは左に旋回時（一時停止あり）の消失点軌跡を示し、図９Ｄは右車線へ位置変更時の消失点軌跡を示す。すなわち、図９Ａ〜図９Ｄは、図４Ａ、図４Ｃ、図５Ｃ、図６Ａの走行シーンにそれぞれ対応している。

図９Ａに示す拡大図では、消失点が下方向に移動した或る位置において留まっていることが分かる。

図９Ｂに示す拡大図では、消失点が一定の位置周辺の領域に留まっていることが分かる。

図９Ｃに示す拡大図では、旋回中に消失点がやや上の位置を右側に移動した後、一時停止した時点では消失点は元の高さ（破線で示す高さ）に戻り、一定の位置周辺の領域に留まっていることが分かる。

図９Ｄに示す拡大図では、右方向への転換が終了し、車線境界線に平行な方向に回帰する前後に車両のロール方向の傾きが０になる反転過渡状態において、消失点が一定の位置周辺の領域に留まっていることが分かる。

図９Ａ〜図９Ｄの拡大図に示すように、各走行シーンでは、一定期間内の連続する消失点がほぼ同一位置に留まっていることが分かる。上記一定期間内の消失点は、ほぼ同一位置に存在することより、位置誤差が少ない消失点であると言える。換言すると、上記一定期間内の消失点は、位置が安定した消失点であり、例えば、消失線の算出に有効な消失点であると言える。

そこで、消失点軌跡モデル保持部３は、上記一定期間内の消失点の軌跡を表すテンプレート（消失点軌跡モデル）を保持し、判定部４は、消失点算出部２で算出された消失点と、消失点軌跡モデル保持部３が保持するテンプレートとでパターンマッチング処理を行い、消失線算出の際に有効である消失点であるか否かを判定する。

図１０は、消失点軌跡モデル保持部３が保持する消失点軌跡のテンプレートを示す図である。

図１０Ａ〜図１０Ｄは、図９Ａ〜図９Ｄにそれぞれ対応している。図１０Ａ〜図１０Ｄの拡大図において、太線点線で囲まれた範囲は、位置が安定した消失点の状態を捉えるためのテンプレートであり、ここでは「安定状態テンプレート」と呼ぶ。図１０Ａ〜図１０Ｄに示すように、一定数以上（例えば、５個以上）の消失点がほぼ同一位置に存在している状態の消失点の軌跡が安定状態テンプレートとして定義され、この状態は、車両が安定している状態であると見なされる。

すなわち、画像処理装置１０において算出される消失点を、有効な消失点として出力する条件（出力条件）は、消失点の位置が安定している状態（安定状態テンプレートに示される状態）である。例えば、消失点の位置が安定している状態が存在する走行シーンとしては、停止しているシーン、直進中に定速走行しているシーン、右又は左に旋回走行中に一時停止しているシーン、又は、車線内における車両の位置変更の場合に車両のロール方向において傾きが発生していない（０となる）状態のシーン（つまり、反転過渡状態）が含まれる。

なお、加速中、減速中の消失点は、消失点の位置が一時的に安定する可能性があるが、消失線の算出には不適としてもよい。つまり、加速中、減速中の消失点に対する安定状態テンプレート（図１０Ａ）を定義せず、消失点の出力条件に含めなくてもよい。

また、図１０では、安定状態テンプレートの形状を矩形とする場合について説明したが、安定状態テンプレートの形状は、円形、楕円など他の形状でもよい。

次に、上述した安定状態テンプレートを用いて、消失点の点列を図形と捉える場合の画像処理装置１０における処理フローについて説明する。

図１１Ａは、画像処理装置１０における処理の流れを示すフロー図である。

なお、消失点軌跡モデル保持部３は、消失点の軌跡に関する情報として、例えば、図１０Ａ〜図１０Ｄに示す各走行シーンに対応する安定状態テンプレートを少なくとも１つ保持する。

図１１Ａにおいて、画像入力部１及び消失点算出部２は消失点算出処理を行う（ステップ（以下、「ＳＴ」と称する）１０１）。具体的には、図１１Ｂに示すように、画像入力部１は画像を入力し（ＳＴ１１１）、消失点算出部２は画像を用いて消失点を算出する（ＳＴ１１２）。ＳＴ１０１に示す消失点算出処理は、継続的に（例えば、約０．５秒間隔で）行われる。

画像入力部１及び消失点算出部２は、一定時間（例えば１０秒間）経過するまで（ＳＴ１０２：ＹＥＳ）、ＳＴ１０１の消失点算出処理を繰り返す。一定時間経過するまでの間（ＳＴ１０２：ＮＯ）に、ＳＴ１０１で時系列において連続して算出された消失点は、点列（所定数の消失点から成る消失点群）として一時蓄積される（ＳＴ１０３）。

ＳＴ１０１〜ＳＴ１０３の処理によって一定数の消失点が蓄積された点列に対して以下の処理が行われる。

判定部４は、ＳＴ１０３で蓄積された消失点群と、消失点軌跡モデル保持部３が保持する安定状態テンプレートとを比較して、消失点群の点列（消失点群から構成される消失点の軌跡）が安定状態テンプレートと合致するか否かを判断する（ＳＴ１０４）。すなわち、判定部４は、消失点群の点列を図形と捉える。

点列に対して合致する安定状態テンプレートがあった場合（ＳＴ１０４：ＹＥＳ）、出力部５は、安定状態テンプレートと合致した消失点を、有効な消失点として出力する（ＳＴ１０５）。

すなわち、判定部４において、点列に対して合致する安定状態テンプレートがあったと判定された場合（消失点の軌跡が所定の条件を満たすと判定された場合）、画像処理装置１０は、消失点の軌跡を構成する複数の消失点のうちから、安定状態テンプレート（探索窓）内に所定数以上の消失点が含まれている位置の当該消失点を有効な消失点として抽出する。

また、上述した抽出処理に限らず、画像処理装置１０は、消失点の軌跡を構成する複数の消失点のうちから、隣接する消失点との間の座標変化量が所定値以下である消失点（つまり、ほぼ同一位置に存在している消失点）を有効な消失点として抽出してもよい。または、画像処理装置１０は、消失点の軌跡を構成する複数の消失点のうちから、上記条件に対応して予め定められた特定の座標領域に位置する消失点を有効な消失点として抽出してもよい。なお、画像処理装置１０において、上記抽出処理は、判定部４又は出力部５が行ってもよく、図示しない抽出部が行ってもよい。

点列に対して合致する安定状態テンプレートがない場合（ＳＴ１０４：ＮＯ）、又は、ＳＴ１０５の処理の終了後、画像処理装置１０は、ＳＴ１０１の処理に戻る。

以上のように本実施の形態によれば、画像処理装置１０は、消失点の点列を図形として捉え、消失点軌跡モデル保持部３が保持する安定状態テンプレートを用いて、有効な消失点を判定する。これにより、画像処理装置１０は、時系列で得られる複数の消失点の中から、消失線算出に有効となる消失点、つまり、位置が安定した状態の消失点のみを抽出することができる。

すなわち、画像処理装置１０は、消失線算出に適切な消失点を得るために、従来のように、車載センサ又はナビゲーションシステムの情報を用いて走行状態を検知することなく、消失線算出に有効な消失点を判定することができる。例えば、画像処理装置１０から出力される消失点を用いて消失線算出が行われることにより、車両にカメラを取り付けた際の設置角を精度良く推定できる。

［バリエーション１］
本実施の形態のバリエーション１に係る画像処理装置１０（図８）において、消失点軌跡モデル保持部３は、上述した安定状態テンプレートに加え、走行シーンを判断するためのテンプレート（以下、走行シーンテンプレートと称する）を保持してもよい。

例えば、図１２Ａ〜図１２Ｄは、各走行シーンに対する走行シーンテンプレート及び安定状態テンプレートを示す。図１２Ａ〜図１２Ｄは、図９Ａ〜図９Ｄとそれぞれ対応している。

図１２Ａ〜図１２Ｄの各々において走行シーンテンプレートは、太線実線で囲まれた範囲に相当し、走行シーン毎の消失点の軌跡を表す。なお、図１２Ａ〜図１２Ｄに示す走行シーンテンプレートの他に、停止中、減速して直進、右へ旋回、左車線へ位置変更などの走行シーンについても同様の走行シーンテンプレートを定義することができる。

図１３は、画像処理装置１０における処理の流れを示すフロー図である。なお、図１３において、図１１Ａと同一の動作を行う処理については同一符号を付し、説明を省略する。

図１３に示すように、判定部４は、ＳＴ１０３で蓄積された消失点群の点列と、消失点軌跡モデル保持部３が保持する走行シーンテンプレートとを比較して、点列が走行シーンテンプレートと合致するか否かを判断する（ＳＴ１２１）。具体的には、判定部４は、算出された消失点群の点列（消失点群により構成される消失点の軌跡）と、走行シーンテンプレートとが合致した場合、当該点列が算出された時刻において、車両が当該合致したテンプレートに示される走行シーンにあったと判断する。点列に対して合致する走行シーンテンプレートがあった場合（ＳＴ１２１：ＹＥＳ）、判定部４は、ＳＴ１０４の処理を行う。一方、点列に対して合致する走行シーンテンプレートが無い場合（ＳＴ１２１：ＮＯ）、画像処理装置１０は、ＳＴ１０１の処理に戻る。

このように、バリエーション１では、消失点の軌跡に関する情報として、走行シーンに関する消失点の軌跡を表す走行シーンテンプレート、及び、消失線の算出に有効な消失点（位置誤差が少ない消失点）の軌跡を表す安定状態テンプレート（すなわち出力条件）が含まれる。画像処理装置１０は、算出される複数の消失点を用いて、車両の走行シーンを特定することにより、例えば図１２に示す各走行シーンにおける、消失点が安定して得られる領域（安定状態テンプレートに示す領域）をより精度良く特定することができる。換言すると、画像処理装置１０は、図１２に示す走行シーンに該当しない走行シーンにおける消失点群であって、安定状態テンプレートに示される消失点の軌跡と近似した消失点群を、有効な消失点として誤って抽出することを回避することができる。

なお、バリエーション１において、画像処理装置１０は、更に、例えば、図１２Ａ〜図１２Ｄの各々の左側に示す領域（画像全体）における消失点の軌跡をテンプレートとして備えてもよい。具体的には、図１２Ａの左側に示す画像上において、中央から下方向の全ての消失点を含む所定の範囲（図示せず）を、加速して直進中の消失点群を判別するための走行シーンテンプレートとしてもよい。同様に、図１２Ｂの左側に示す画像上において、中央付近の全ての消失点を含む所定の範囲（図示せず）を、定速で直進中の消失群を判別するための走行シーンテンプレートとしてもよい。また、図１２Ｃの左側に示す画像上において、中央から右端までの横方向の全ての消失点を含む所定の範囲（図示せず）を、左旋回中の消失点群を判別するための走行シーンテンプレートとしてもよい。また、図１２Ｄの左側に示す画像上において、中央から左方向の全ての消失点を含む所定の範囲（図示せず）を、右車線へ位置変更中の消失点群を判別するための走行シーンテンプレートとしてもよい。この場合でも、上記同様、画像処理装置１０は、車両の走行シーンを特定することにより、消失点が安定して得られる領域（安定状態テンプレートに示す領域）をより精度良く特定することができる。

［バリエーション２］
本実施の形態のバリエーション２に係る画像処理装置１０（図８）において、消失点軌跡モデル保持部３は、走行シーン毎に複数のテンプレートを保持してもよい。例えば、左旋回時において車両が一時停止する位置に応じて、位置が安定した消失点群が現れる画面上の位置は異なる。そこで、消失点軌跡モデル保持部３は、例えば、左旋回中の走行シーンに対して、図１０Ｃに示すように拡大図のほぼ中央付近に一時停止時の消失点軌跡が描かれる場合のテンプレートの他に、拡大図の左側に一時停止時の消失点軌跡が描かれる場合（つまり、図１０Ｃよりも早い時刻に一時停止する場合）のテンプレート、又は、拡大図の右側に一時停止時の消失点軌跡が描かれる場合（つまり、図１０Ｃよりも遅い時刻に一時停止する場合）のテンプレートを保持してもよい。また、テンプレートは１つとし、マッチングをとる領域を変化させてもよい。他の走行シーンについても同様である。

こうすることで、画像処理装置１０は、各走行シーンにおいて車両に想定し得る走行状態をより細かく設定することにより、有効な消失点を精度良く抽出することができる。

（実施の形態２）
本実施の形態では、消失点の軌跡を消失点の時系列の座標変位として捉える。

なお、本実施の形態に係る画像処理装置１０は、実施の形態１（図８）と同様であるので、説明を省略し、同一符号を使用する。

まず、本実施の形態において使用する消失点の座標変位を表す記号について説明する。

ここで、時刻T=t(n)の消失点の位置をP0(x(n), y(n))と表し、時刻T=t(n+1)の消失点の位置をP1(x(n+1),y(n+1))と表し、P0とP1との間のｘ座標の変位をΔx＝x(n+1)−x(n)と表し、P0とP1との間のｙ座標の変位をΔy＝y(n+1)−y(n)と表す。この場合、時間的に連続して得られる２つの消失点P0からP1への座標変位を以下の記号（以下、座標変位記号（又は単に記号）と称する）で表す。
●： Δx,Δy ≒ 0
○： Δx,Δy ＝ 小
→： Δx＝大（プラス）、Δy＝小
←： Δx＝大（マイナス）、Δy＝小
↑： Δx＝小、Δy＝大（プラス）
↓： Δx＝小、Δy＝大（マイナス）
×： Δx＝大、Δy＝大

具体的には、「●」は消失点がほぼ停止していることを示し、「○」は消失点の動きが安定して、消失点がほぼ同一位置周辺に位置していることを示し、「→」は消失点がほぼ右に移動していることを示し、「←」は消失点がほぼ左に移動していることを示し、「↑」は消失点がほぼ上に移動していることを示し、「↓」は消失点がほぼ下に移動していることを示し、「×」は消失点が斜めに移動していることを示す。

また、時刻T=t(n+1)で消失点が検出されなかった場合を”E”で表す。

Δ値（Δx又はΔy）≒ 0とは、例えば０〜1画素に相当する変位とし、Δ値が「小」とは例えば２〜５画素に相当する変位とし、Δ値が「大」とは例えば６画素以上の変位とするように定義してもよい。

以下では、図４〜図６に示す消失点の軌跡の一部に対して上記記号を用いた場合について説明する。

例えば、図４Ａの直進走行時に加速を開始した直後の２つの消失点P0,P1の相対位置は記号「↓」に相当し、逆に、図４Ｂの直進走行時に減速を開始した直後の２つの消失点P0,P1の相対位置は記号「↑」に相当する。

図４Ｃの直進時の定速走行中では消失点の動きは安定しており、２つの消失点P0,P1の相対位置は記号「○」に相当する。また、図４Ｄの停止中には、２つの消失点P0,P1の相対位置は記号「●」に相当する。

また、図５Ｃの左旋回中に一時停止した場合、２つの消失点P0,P1の相対位置を示す記号を時系列で並べると以下のようになる。
→・・・●・・・→・・・

すなわち、一時停止中の消失点の座標変位は記号「●」に相当する。なお、「・・・」は直前（左側）の記号が０回以上繰り返されることを示している。

同様に、図６の右車線への位置変更時の２つの消失点P0,P1の相対位置を示す記号列は以下のようになる。
←・・・○・・・→・・・

すなわち、反転過渡状態における消失点の座標変位は記号「○」に相当する。

以上より、画像処理装置１０は、時系列で連続して消失点の座標変位を判定し、判定結果において「○」又は「●」に相当する時点の消失点を出力することにより、消失線算出に有効な安定した消失点を得ることができる。

ただし、一定の加速度で、直進加速中又は直進減速中には、図４Ａの時刻T=t1又は図４Ｂの時刻T=t1の位置付近において、消失点の位置がしばらく安定し、「○」に相当することがあり得る。すなわち、例えば、直進加速中の場合、２つの消失点P0,P1の相対位置を示す記号列は以下のようになることがあり得る。
↓・・・○・・・↑・・・

このように、消失点軌跡モデル保持部３が保持する消失点の軌跡に関する情報として、時系列で連続する２つの時刻の消失点P0とP1との間の座標変位（Δx,Δy）から決定される座標変位記号が含まれる。

また、消失点軌跡モデル保持部３が保持する、有効な消失点の出力条件として、座標変位（Δx,Δy）が記号「○」又は「●」に相当する場合、すなわち、Δx及びΔyの双方とも「小」であること、又は、ほぼ０であることとする。換言すると、判定部４が判定する消失点の軌跡に関する出力条件は、消失点P0とP1との間の座標変位が所定の変化量以下となることである。

なお、ここでは、画像処理装置１０は、直進時の定速走行中、停止中、旋回時の一時停止中、位置変更中の記号「○」又は「●」に相当する時点の消失点を有効な消失点として出力する。これに対して、画像処理装置１０は、加速中、減速中の記号「○」又は「●」に相当する時点の消失点、及び、その他の動きを示す記号「×」に相当する時点の消失点を出力から除外する。つまり、画像処理装置１０は、記号「○」又は「●」に相当する時刻の直前の記号が「●」、「○」、「←」又は「→」の場合のみ、現時刻の「●」又は「○」に相当する時点の消失点を出力するのに対して、直前の記号が記号「↑」、「↓」又は「×」の場合は消失点を出力しない。以下では、この消失点の出力条件を「第2の出力条件」と称することもある。すなわち、判定部４が判定する消失点の軌跡に関する第2の出力条件には、消失点P0が得られるタイミングよりも早いタイミングにおける座標変位に関する条件が含まれる。

次に、上述した消失点の座標変位を用いた場合の画像処理装置１０における処理フローについて説明する。

図１４は、画像処理装置１０における処理の流れを示すフロー図である。なお、図１４において、図１１Ａと同一の動作を行う処理については同一符号を付し、説明を省略する。

消失点算出部２は、ＳＴ１０１で消失点が算出された場合（ＳＴ２０１：ＹＥＳ）、ＳＴ１０１で算出された消失点の位置をP0とする（ＳＴ２０２）。消失点が算出されない場合（ＳＴ２０１：ＮＯ）、画像処理装置１０は、ＳＴ１０１の処理に戻る。

消失点算出部２は、再度、消失点を算出し（ＳＴ２０３）、ＳＴ２０３において消失点が算出された場合（ＳＴ２０４：ＹＥＳ）、ＳＴ２０３で算出された消失点の位置をP1とする（ＳＴ２０５）。消失点が算出されない場合（ＳＴ２０４：ＮＯ）、画像処理装置１０は、ＳＴ２０３の処理に戻る。

なお、ＳＴ２０３の消失点算出処理は、ＳＴ１０１の処理と同一である。例えば、消失点算出部２は、ＳＴ１０１及びＳＴ２０３において、継続的に（例えば、約０．５秒間隔で）消失点の算出処理を行い、時系列で連続する時刻の２つの消失点（P0,P1）を算出する。

判定部４は、消失点軌跡モデル保持部３が保持する消失点の軌跡に関する情報に従って、消失点P0,P1の間の座標変位Δx,Δyを算出し、座標変位記号（●,○,←,→,↑,↓,×）を決定する（ＳＴ２０６）。決定された記号は一時保存される。

判定部４は、消失点軌跡モデル保持部３が保持する、有効な消失点の出力条件に関する情報に従って、ＳＴ２０６で決定された座標変位記号が出力条件で定められている所定の種類（ここでは記号「○」又は「●」）であるか否かを判断する（ＳＴ２０７）。座標変位記号が出力条件で定められた記号で無い場合（ＳＴ２０７：ＮＯ）、画像処理装置１０は、ＳＴ２０３の処理に戻る。

座標変位記号が出力条件で定められた記号である場合（ＳＴ２０７：ＹＥＳ）、判定部４は、「第2の出力条件」に合致するか否かを判断する（ＳＴ２０８）。ここでは、上述したように、判定部４は、ＳＴ２０６において前回決定された座標変位記号が「↑」、「↓」、「×」では無い場合、第2の出力条件に合致したと判断する（ＳＴ２０８：ＹＥＳ）。第2の出力条件に合致しなかった場合（ＳＴ２０８：ＮＯ）、画像処理装置１０は、ＳＴ２０３の処理に戻る。

第2の出力条件に合致した場合（ＳＴ２０８：ＹＥＳ）、出力部５は、現在の判定対象である消失点（P0,P1）を有効な消失点の情報として出力する（ＳＴ１０５）。

以上のように本実施の形態によれば、画像処理装置１０において、判定部４は、第１のタイミングで対象物が撮影された画像に含まれる第１の消失点（P0）と、第１のタイミングよりも遅い第２のタイミングで対象物が撮影された画像に含まれる第２の消失点（P1）との座標変位が、予め定められた条件を満たすか否かを判定する。出力部５は、座標変位が条件を満たす場合、第１の消失点（P0）および第２の消失点（P1）の座標情報のうち少なくとも１つを出力する。

これにより、画像処理装置１０は、消失点の軌跡に関する情報を用いて消失点の座標変位を判定することにより、時系列で得られる複数の消失点の中から、消失線算出に有効となる消失点、つまり、位置が安定した状態の消失点のみを抽出することができる。例えば、画像処理装置１０から出力される消失点を用いて消失線算出が行われることにより、車両にカメラを取り付けた際の設置角を精度良く推定できる。

さらに、本実施の形態によれば、画像処理装置１０は、消失点の座標変位を用いて定義された、消失点の第2の出力条件を用いることにより、出力する消失点を消失線算出に有効となる消失点のみに限定することができる。これにより、画像処理装置１０は、実施の形態１と同様、車載センサ又はナビゲーションシステムの情報を用いて走行状態を検知することなく、消失線算出に有効な消失点を判定することができる。

また、実施の形態１では、消失点を点列の図形として捉え、点列とテンプレートとのマッチング処理を行うため、消失点を一定量蓄積して判定処理を行う必要がある。これに対して、本実施の形態では、画像処理装置１０は、実施の形態１と比較して、消失点の蓄積量を抑え（P0,P1のみ）、消失点の算出の都度、逐次的に有効な消失点を判定して出力することができる。

（実施の形態３）
本実施の形態では、消失点の軌跡を消失点の座標変位から得られる走行シーンの状態遷移として捉える。

なお、本実施の形態に係る画像処理装置１０は、実施の形態１（図８）と同様であるので、説明を省略し、同一符号を使用する。

まず、本実施の形態における消失点軌跡モデル保持部３が保持する情報について説明する。

図１５は、走行中の消失点の座標変位から定義される走行シーンの状態遷移の説明に供する図である。図１５に示す一例では、走行シーンの状態として、画像処理装置１０の起動直後の初期状態３０、消失点がいずれの走行モデルにも合致していない状態である走行モデル外状態３１、検出された消失点が予め定義された走行モデルに合致している状態３２〜３４が定義されている。また、図１５では、走行モデルとして、直進走行モデル３２、旋回走行モデル３３、及び、位置変更走行モデル３４が定義されている。

図１５に示す矢印は、状態の遷移元と遷移先とを結び、走行シーンの状態が、初期状態３０から走行モデル外状態３１に遷移した後、走行モデル外状態３１と各走行モデル３２〜３４との間で状態が遷移することを示している。

また、各走行モデルの中には、詳細な状態が定義されている。具体的には、直進走行モデル３２には、加速中、減速中、定速走行中、停止中の状態が定義され、旋回走行モデル３３には、旋回中、一時停止中の状態が定義され、位置変更走行モデル３４には、方向転換中、反転過渡状態、方向回帰中の状態が定義されている。

図１５に示す各走行モデルの中の太線楕円で示される状態は、消失線算出に有効な状態（つまり、出力条件）を示している。上述したように、太線楕円で示される状態では、消失点の動きが安定していると考えられる。具体的には、図１５において、消失線算出に有効な状態として定義されている所定の種類の状態は、直進走行モデル３２の場合、定速走行又は停止中の状態であり、旋回走行モデル３３の場合、一時停止中の状態であり、位置変更走行モデル３４の場合、反転過渡状態（つまり、位置変更中に車両のロール方向において傾きが発生していない状態）である。

また、走行モデル外状態３１は、初期状態から消失点が検出された場合、各走行モデルに遷移している状態において当該モデルから逸脱した消失点が検出された場合（後述する終了条件を満たす場合）、消失点が検出されていない場合に遷移する状態である。

次に、図１５に示す状態遷移を想定した場合の画像処理装置１０における処理フローについて説明する。

図１６は、画像処理装置１０における処理の流れを示すフロー図である。なお、図１６において、図１１Ａと同一の動作を行う処理については同一符号を付し、説明を省略する。

なお、ここでは、走行シーンの状態が図１５に示す走行モデル３２〜３４のいずれかの状態であるとする。

判定部４は、ＳＴ１０１において消失点算出部２で算出された消失点（現消失点）を用いて、消失点軌跡モデル保持部３が保持する状態遷移定義（図１５）に従って、車両の次の状態を決定する（ＳＴ３０１）。

判定部４は、状態遷移定義に含まれる有効な消失点の出力条件と、ＳＴ３０１で決定された状態が消失点の出力条件に合致するか否かを判断する（ＳＴ３０２）。

状態が消失点の出力条件に合致した場合（ＳＴ３０２：ＹＥＳ）、判定部４は、現消失点を有効な消失点として保存する（ＳＴ３０３）。ＳＴ３０３の処理後、又は、状態が消失点の出力条件に合致しない場合（ＳＴ３０２：ＮＯ）、画像処理装置１０は、ＳＴ３０４の処理に進む。

判定部４は、ＳＴ３０１で決定された状態が、現在遷移している走行モデルに定義されているモデルの終了条件に合致するか否かを判断する（ＳＴ３０４）。状態が終了条件に合致しない場合（ＳＴ３０４：ＮＯ）、画像処理装置１０は、ＳＴ１０１の処理に戻る。

状態が終了条件に合致する場合（ＳＴ３０４：ＹＥＳ）、出力部５は、ＳＴ３０３で保存された消失点を有効な消失点情報として出力する（ＳＴ１０５）。

判定部４は、現在遷移している走行モデルの状態を終了して、走行モデル外状態３１に遷移する（ＳＴ３０６）。

このようにして、本実施の形態では、消失点軌跡モデル保持部３は、時系列で連続する２つの消失点間における座標変位に関連付けられた、車両の走行シーンの状態遷移を表す情報を保持し、判定部４は、算出した消失点に対して、状態遷移定義に従って有効な消失点であるか否かを判定する。すなわち、判定部４が判定する消失点の軌跡に関する条件には、座標変位の情報を用いて定義される状態遷移に基づく条件が含まれる。具体的には、判定部４は、消失点軌跡モデル保持部３が保持する情報に基づいて上記２つの消失点間における座標変位を特定し、特定された座標変位に対応する車両の状態が所定の種類の場合、上記２つの消失点が有効な消失点であると判定する。こうすることにより、画像処理装置１０は、複数の消失点の中から、有効な消失点のみを出力することができる。

次に、走行シーンの状態遷移定義についてより詳細に説明する。

なお、状態遷移定義で使用する記号として、実施の形態２で説明した消失点の座標変位記号（●,○,←,→,↑,↓,×,E）を使用し、ここではこれらの説明を省略する。

図１７は、直進走行モデル３２（図１７Ａ）、旋回走行モデル３３（図１７Ｂ）、位置変更走行モデル３４（図１７Ｃ）における、座標変位記号を用いた状態遷移定義の説明に供する図である。

図１７Ａ〜図１７Ｃに示す表は、現状態から次状態への遷移の条件を、時系列で連続する２つの消失点の座標変位に対応する座標変位記号で定義している。例えば、図１７Ａにおいて、現状態が「加速中」の場合、消失点の座標変位記号が「○」又は「●」の場合には次状態は「定速走行中」に遷移し、「↓」の場合には次状態は「加速中」のままであり、「↑」の場合には次状態は「減速中」に遷移する。なお、「−」は、「加速中」から「停止中」へ遷移する条件は無いことを示している。

また、図１７Ａ〜図１７Ｃに示す表の右端列には、各走行モデルの終了条件が定義されている。例えば、直進走行モデル３２（図１７Ａ）において、現状態が「定速走行中」、「加速中」又は「減速中」の場合、消失点の座標変位記号が「←」,「→」,「×」,「Ｅ」の場合には、走行シーンが直進走行の状態ではなくなったと判断され、直進走行モデルが終了される。終了条件に合致して各走行モデルを終了すると、走行シーンの状態は、図１５の走行モデル外状態３１に遷移する。

また、状態遷移定義では、現状態から次状態への遷移条件に加え、有効な消失点の出力条件も定義される。例えば、直進走行モデル３２（図１７Ａ）では、上述したように、「定速走行中」及び「停止中」の状態が、消失点が安定している状態として見なされる。

そこで、図１７Ａに示すように、この２つの状態がそれぞれ連続する場合、すなわち、現状態「定速走行中」から次状態「定速走行中」へ遷移する場合、及び、現状態「停止中」から次状態「停止中」へ遷移する場合（表中の塗りつぶされた欄）のその時点の消失点を有効な消失点の出力条件としている。

また、状態遷移定義では、当該走行モデルに遷移する条件（開始条件）と当該走行モデル開始の際の初期状態とが定義される。例えば、直進走行モデル３２（図１７Ａ）の開始条件は座標変位記号が「○」の場合であり、初期状態は「定速走行中」である。これは、図１７Ａにおいて、走行モデル外状態３１において座標変位記号が「○」となった時点で、「定速走行中」を初期状態として直進走行モデル３２への状態遷移を開始することを示す。

なお、図１７Ｂ、図１７Ｃについても、図１７Ａと同様であるので説明は省略する。

次に、図１８に初期状態３０、走行モデル外状態３１、そして各走行モデル３２〜３４の全体の遷移を含む詳細フロー図を示す。

図１８は、画像処理装置１０における状態遷移に関する処理の主な流れを示すフロー図である。すなわち、図１８に示す処理は、図１５に示す初期状態３０と、走行モデル外状態３１と、各走行モデル３２〜３４との間の状態遷移の処理に該当する。なお、図１８において、図１４と同一の動作を行う処理については同一符号を付し、説明を省略する。

なお、消失点軌跡モデル保持部３は、状態遷移定義（遷移条件、走行モデルの開始条件・終了条件、及び出力条件。図１７Ａ〜図１７Ｃ参照）を保持する。

判定部４は、ＳＴ１０１，ＳＴ２０１〜ＳＴ２０５ａの処理によって算出された消失点位置P0,P1を用いて、時系列で連続する２つの消失点の座標変位（Δx,Δy）を算出して、算出された座標変位（Δx,Δy）に対応する座標変位記号を決定する（ＳＴ２０６）。

判定部４は、ＳＴ２０６で決定された座標変位記号が、いずれかの走行モデルで定義されている開始条件に合致するか否かを判断する（ＳＴ４０１）。座標変位記号が走行モデルの開始条件に合致しない場合（ＳＴ４０１：ＮＯ）、画像処理装置１０は、ＳＴ２０３の処理に戻る。一方、座標変位記号が走行モデルの開始条件に合致する場合（ＳＴ４０１：ＹＥＳ）、判定部４は、開始条件が合致した走行モデルに関する処理（走行モデル処理）を開始する（ＳＴ４０２）。

図１９は、図１８のＳＴ４０２における走行モデル処理の主な流れを示すフロー図である。なお、図１９において、図１４と同一の動作を行う処理については同一符号を付し、説明を省略する。

なお、図１９では、図１８に示すＳＴ４０１において開始条件が合致した走行モデルで定義されている初期状態から開始される。

判定部４は、ＳＴ１０１で新たに消失点が算出された場合、ＳＴ１０１で前回算出された消失点位置P1をP0とし、新たに算出された消失点（新消失点）位置をP1とする（ＳＴ５０１）。

判定部４は、ＳＴ２０６で決定された座標変位記号に基づいて、図１７Ａ〜図１７Ｃに示す状態遷移定義に従って、車両の走行シーンの状態を遷移させる（ＳＴ５０２）。

判定部４は、遷移の際、有効な消失点の出力条件に合致しているか否かを判断する（ＳＴ５０３）。出力条件に合致する場合（ＳＴ５０３：ＹＥＳ）、判定部４は、消失点P1を有効な消失点として保存する（ＳＴ５０４）。出力条件に合致しない場合（ＳＴ５０３：ＮＯ）又はＳＴ５０４の処理後、画像処理装置１０は、ＳＴ５０５の処理に進む。

判定部４は、ＳＴ２０６で決定された座標変位記号に示される状態が終了条件に合致するか否かを判断する（ＳＴ５０５）。終了条件に合致しない場合（ＳＴ５０５：ＮＯ）、画像処理装置１０は、ＳＴ１０１の処理に戻る。終了条件に合致する場合（ＳＴ５０５：ＹＥＳ）、出力部５は、ＳＴ５０４で保存した消失点を、有効な消失点情報として出力し（ＳＴ１０５）、走行モデル処理を終了する。走行モデル処理が終了すると、走行シーンの状態は、図１５に示す走行モデル外状態に遷移する。

なお、図１８に示すＳＴ４０１の処理において、複数の走行モデルの開始条件と合致したと判断された場合には、判定部４は、開始条件が合致したと判断された複数の走行モデルに対して、各走行モデルで定義された終了条件に達するまで、走行モデル処理をそれぞれ行えばよい。

以上のように本実施の形態によれば、画像処理装置１０は、消失点の軌跡に関する状態遷移定義を用いて、消失点の座標変位を判定することにより、時系列で得られる複数の消失点の中から、消失線算出に有効となる消失点、つまり、位置が安定した状態の消失点のみを抽出することができる。例えば、画像処理装置１０から出力される消失点を用いて消失線算出が行われることにより、車両にカメラを取り付けた際の設置角を精度良く推定できる。

さらに、本実施の形態によれば、画像処理装置１０は、消失点の座標変位を用いて定義された、消失点の出力条件を用いることにより、出力する消失点を消失線算出に有効となる消失点のみに限定することができる。これにより、画像処理装置１０は、実施の形態１と同様、車載センサ又はナビゲーションシステムの情報を用いて走行状態を検知することなく、消失線算出に有効な消失点を判定することができる。

また、本実施の形態では、画像処理装置１０は、実施の形態１と比較して、消失点の蓄積量を抑え（P0,P1のみ）、消失点の算出の都度、逐次的に有効な消失点を判定して出力することができる。

以上、本発明の各実施の形態について説明した。

［他の実施の形態］
［１］上記実施の形態において、図５Ｂに示すように、交差点などでの旋回時には、同一画面上に、方向の異なる複数の車線境界線（平行線）から得られる複数の消失点が現れる場合がある。この場合、画像処理装置１０は、各車線境界線に対応する消失点について、有効な消失点に関する判定処理（例えば、図１１Ａ、図１４、図１６）をそれぞれ行い、出力条件を満たした消失点を有効な消失点情報として出力すればよい。すなわち、画像処理装置１０において、消失点算出部２は、車載カメラの撮影対象領域に存在する異なる方向に伸びる複数の車線境界線（平行線）にそれぞれ対応する消失点を算出し、判定部４は、複数の車線境界線に対応する消失点毎に、上述した有効な消失点であるか否かを判定し、出力部５は、複数の車線境界線にそれぞれ対応する有効な消失点を出力すればよい。

これにより、画像処理装置１０は、交差点等で複数方向の消失点が現れる場合でも、消失線算出に有効な消失点を出力することができる。ここで、同一車線境界線から得られる消失点と比較して、異なる車線境界線から得られる消失点では、消失点間の距離がより広くなる。また、消失線の算出に用いられる消失点間の距離が広いほど、消失線算出において、消失点を結んだ際の消失点の傾き幅（消失線のずれ）に対して消失点の位置誤差が与える影響はより小さくなる。よって、画像処理装置１０が、異なる車線境界線から得られた消失点を用いて消失線の算出を行うことにより、より離れた位置、かつ、位置誤差の少ない消失点を出力することができるので、消失線の算出精度を向上させることができる。

［２］また、上記実施の形態において、出力部５は、判定部４において有効な消失点として保存された複数の消失点を消失点情報としてそのまま出力してもよく、複数の有効な消失点の情報を加工して得られた消失点情報を出力してもよい。すなわち、出力部５は、有効な消失点として判定された１つ以上の消失点に基づいて算出した消失点に関する情報を出力してもよい。例えば、出力部５は、保存された消失点の位置を平均した結果を消失点情報として出力してもよい。または、出力部５は、保存された複数の消失点の位置のばらつき具合に基づいて消失点位置の安定度合を算出し、消失点位置の情報と併せて、消失点位置の安定度合を出力してもよい。こうすることで、画像処理装置１０は、消失線の算出において、安定度合が付与された消失点位置の情報を出力することができるので、消失線の算出精度を更に向上させることができる。

［３］また、上記実施の形態において、出力部５は、有効な消失点を出力する際に、消失点の出力条件を満たした走行シーンの種類を、消失点の位置情報と併せて出力してもよい。これにより、消失点を用いた処理を行う装置（図示せず）において、車載センサ又はナビゲーションシステムの情報を用いて走行状態を検知することなく、走行モデルが定義された範囲で、消失点が出力された時点の走行状態を知ることができる。

［４］また、上記実施の形態では、カメラが設置される移動物体を車両とする場合について説明した。しかし、カメラが設置される移動物体としては、車両に限らず、例えば、ロボット、人間などでもよい。

［５］また、上記実施の形態では、カメラの撮影対象領域に存在する平行線（すなわち、消失点の算出対象）の一例として、道路における車線境界線とする場合について説明した。しかし、画像処理装置１０において消失点算出の対象となる平行線は、車線境界線に限らず、車両が走行中に撮影されるその他の平行線（例えば、ガードレールのエッジなど）、であってもよい。

本発明は、カメラ画像から得られる消失点を検出する画像処理装置に対して有効である。

１０ 画像処理装置
１ 画像入力部
２ 消失点算出部
３ 消失点軌跡モデル保持部
４ 判定部
５ 出力部

Claims (8)

1. カメラによって対象物が撮影された画像を入力する入力部と、
   前記画像において、前記対象物に対応する消失点を算出する算出部と、
   異なるタイミングで前記対象物が撮影された複数の画像のそれぞれに含まれる複数の消失点の時系列の座標変化が、予め定められた条件を満たすか否かを判定する判定部と、
   前記座標変化が前記条件を満たす場合、前記複数の消失点の座標情報のうち少なくとも１つを出力する出力部と、
   を備える画像処理装置。
2. 前記判定部において前記座標変化が前記条件を満たすと判定された場合に、前記複数の消失点のうちから、前記条件に対応して予め定められた特定の座標領域に位置する消失点を抽出する抽出部、をさらに備え、
   前記出力部は、前記抽出部において抽出された消失点の座標情報のうち少なくとも１つを出力する、
   請求項１に記載の画像処理装置。
3. 前記判定部において前記座標変化が前記条件を満たすと判定された場合に、前記複数の消失点のうちから、隣接する消失点との間の座標変化量が所定値以下である消失点を抽出する抽出部、をさらに備え、
   前記出力部は、前記抽出部において抽出された消失点の座標情報のうち少なくとも１つを出力する、
   請求項１に記載の画像処理装置。
4. 前記判定部は、第１のタイミングで前記対象物が撮影された画像に含まれる第１の消失点と、前記第１のタイミングよりも遅い第２のタイミングで前記対象物が撮影された画像に含まれる第２の消失点との座標変位が、予め定められた条件を満たすか否かを判定し、
   前記出力部は、前記座標変位が前記条件を満たす場合、前記第１の消失点および前記第２の消失点の座標情報のうち少なくとも１つを出力する、
   請求項１記載の画像処理装置。
5. 前記判定部が判定する前記座標変位に関する条件は、前記座標変位が所定の変化量以下である、
   請求項４記載の画像処理装置。
6. 前記判定部が判定する前記座標変位に関する条件には、前記第１のタイミングよりも早いタイミングにおける座標変位に関する条件が含まれる、
   請求項４記載の画像処理装置。
7. 前記判定部が判定する前記座標変位に関する条件には、座標変位の情報を用いて定義される状態遷移に基づく条件が含まれる、
   請求項４記載の画像処理装置。
8. カメラによって対象物が撮影された画像を入力し、
   前記画像において、前記対象物に対応する消失点を算出し、
   異なるタイミングで前記対象物が撮影された複数の画像のそれぞれに含まれる複数の消失点の時系列の座標変化が、予め定められた条件を満たすか否かを判定し、
   前記座標変化が前記条件を満たす場合、前記複数の消失点の座標情報のうち少なくとも１つを出力する、
   画像処理方法。