JP6611315B2 - 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム - Google Patents

Description

本発明は、車両上に設置された車載カメラで撮影した映像を認識する際に利用される前記映像上の特定の基準点を決定するための映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラムに関する。

車両においては、従来より車載カメラで撮影した映像を自動認識することにより、様々な状況を検知することが行われている。例えば、特許文献１の車両用蛇行運転検出装置においては、車両上で車線と前記車両との横方向の位置関係を検出する横方向位置検出手段と位置関係の変化に基づいて蛇行運転のような異常の有無を識別する異常検出手段を備えている。

特許文献１に示されているように、走行している車両上の車載カメラで道路等の風景を撮影した映像を認識する際には、自車両の移動に伴って映像中の各被写体の位置が移動する。また、このような画像を処理する場合には、画像中の各画素の動きを表すベクトル、すなわちオプティカルフローを検出すると、動きのない被写体については、全てのオプティカルフローの延長線が１つの点に収束する。この点がＦＯＥ（Focus of Expansion）、つまり動きの消失点である。

例えば、まっすぐに延びる道路上を、この道路に沿った方向にまっすぐに走行している車両上の車載カメラで撮影した映像においては、この映像中でこの道路の最も先にある無限遠点がＦＯＥになる。そして、映像中の各画素はＦＯＥの位置から放射状に広がるように移動する。また、このようなＦＯＥを固定された基準点として事前に登録しておくことにより、様々な認識処理を行うことが可能になる。

自車両の左右両側の道路上の区画線（白線）の延長線の交点と、登録したＦＯＥの基準点との横方向の位置の違いにより、道路の延びる方向と自車両の進行方向とのずれを検出することが可能になる。また、前記ＦＯＥの基準点が既知であれば、画像中の各区画線が連続する実線でない場合でも、各区画線の延びる方向を特定できるので、区画線の認識が容易になる。

上記のような基準点については、最適な位置になるように車両毎に個別に調整して決定する必要がある。例えば、車載カメラを取り付ける位置のずれ、撮影方向のずれ、画角の違い、車両の車高の違い、車両の前後方向の傾きの違いなどの影響による誤差が生じないように基準点を校正する必要がある。

特許文献２の無限遠点決定装置においては、無限遠点（ＦＯＥ）の基準点を校正する作業で利用可能な装置を示している。無限遠点（ＦＯＥ）の基準点を校正する場合には、従来より、特許文献２の図３に示されているように、各車両を調整する作業工程において、停止した状態の車両の前方に校正用のターゲットを配置し、車載カメラ１３０で撮影した画像からターゲットの位置を検出し、この位置に基づいて前記基準点を決定している。

また、特許文献３に示された無限遠点決定装置においては、車載カメラの撮影範囲内に自車両のボンネットが含まれるように定めて、画像内のボンネットの頂点の位置に基づいて基準点を決定している。したがって、校正の際に前記ターゲットを設置する必要がなくなる。

また、特許文献４の車両傾斜計測装置においては、車両が空車状態であって平坦地に停止している状態で検出される第一消失点と、車両が走行状態で検出される第二消失点とに基づいて車両の傾斜角を算出している。また、前記第二消失点を検出する際には、車両が実際に道路を走行してい状態で、所定の最低速度以上になると、画像を処理してオプティカルフロー又は白線から該当する点を算出している。

特開２０１１−２２７５５１号公報 特開２００６−３２２８５５号公報 特開２００６−３２７４９５号公報 特開２０１４−２２４７７４号公報

前述のように、ＦＯＥの基準点を決定するためには、個体差や誤差を減らすために、車載カメラを設置した車両毎に、特許文献２、特許文献３に示されたような専用の無限遠点決定装置や、汎用のパーソナルコンピュータ（ＰＣ）などを車両上に持ち込んで、作業者が撮影された画像を見ながら、個別に校正作業を実施する必要があった。また、このような校正作業を実施する際には、特許文献２に示されたような目標物（ターゲット）を対象車両の前方に配置すると共に、対象車両および目標物を平らな場所に配置する必要があるので、十分に広い作業空間が必要になる。

一方、実際の車両の走行状態においては、荷物の積載や、タイヤの交換、車載カメラの取り付け状態の変化などの影響を受ける可能性があるため、前記車載カメラの撮影する映像の範囲が、校正作業の環境に対してずれることになり、校正された前記基準点の位置が不適切な状態になることが想定される。

なお、特許文献４に示されているように、車両が実際に道路を走行している状態で、画像を処理してオプティカルフロー又は白線から該当する点を算出することも可能である。しかしながら、車両が実際の道路を走行している状況においては、撮影する映像に次のような変化が現れる。
（１）カーブしている道路形状の影響による左右方向の変化。
（２）道路の路面の凹凸の影響による上下方向の変化。
（３）坂道を走行している場合の路面の傾斜の影響による上下方向の変化。
（４）自車両の実際の走行方向と道路の方向とのずれの影響による左右方向の変化。

したがって、車両が実際に道路を走行している状態で検出したＦＯＥの点については、基準点として利用できない可能性が高い。

本発明は、上述した事情に鑑みてなされたものであり、その目的は、ＦＯＥの基準点を適切に定めることが容易な映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラムを提供することにある。

前述した目的を達成するために、本発明に係る映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラムは、下記（１）〜（６）を特徴としている。
（１） 車両上に設置された車載カメラと、前記車載カメラで撮影した映像を認識する際に利用される前記映像上の特定の基準点を決定するための管理装置と、を備えた映像基準点決定システムであって、
前記管理装置は、前記車両の走行中に前記車載カメラで撮影して得られた映像の記録画像データを読み込み、前記記録画像データの中で事前に定めた条件を満たす処理対象記録画像データを抽出する抽出部と、
前記処理対象記録画像データに含まれる複数の記録区間のそれぞれに対して、所定の画像認識処理を行い、前記車両が走行している道路上で前記道路に沿った方向に現れる前記車両よりも左側の第１ライン、および前記車両よりも右側の第２ラインと、地平線に相当する第３ラインとをそれぞれ検出する検出部と、
複数の前記記録区間のうち前記第１ライン、前記第２ライン、および前記第３ラインの３つのラインが共通の点で交差しない前記記録区間のデータを算出対象から除外し、前記３つのラインが共通の点で交差する前記記録区間のそれぞれについて、前記３つのラインの交点を基準点として算出し、算出された複数の前記基準点に基づいて基準点の確定値を決定する基準点決定部と、を有する
ことを特徴とする。

上記（１）の映像基準点決定システムによれば、車載器が車両が走行している状態で撮影した映像の記録画像データに基づいて、管理装置が基準点を決定するので、校正のために特別な平坦な空間や目標物を用意する必要がない。しかも、停止状態で校正する場合と比べると、積み荷の有無の影響、タイヤの交換、車載カメラの取り付け状態の変化などの影響による誤差が生じないので、より適切な校正が実現する。また、車両が走行している状態で撮影した映像の記録画像データには、基準点の特定に適さないシーンが含まれる可能性が高いが、記録画像データの中で事前に定めた条件を満たす処理対象記録画像データを抽出して処理するので、基準点を適切な位置に定めることができる。また、処理対象記録画像データを抽出して処理するので、処理対象のデータ量を減らすことができ、処理の所要時間を短縮できる。

（２） 車両上に設置された車載カメラで撮影した映像を認識する際に利用される前記映像上の特定の基準点を決定するための映像基準点決定方法であって、
前記車両の走行中に前記車載カメラで撮影して得られた映像の記録画像データを読み込み、前記記録画像データの中で事前に定めた条件を満たす処理対象記録画像データを抽出し、
前記処理対象記録画像データに含まれる複数の記録区間のそれぞれに対して所定の画像認識処理を行い、前記車両が走行している道路上で前記道路に沿った方向に現れる前記車両よりも左側の第１ライン、および前記車両よりも右側の第２ラインと、地平線に相当する第３ラインとをそれぞれ検出し、
複数の前記記録区間のうち前記第１ライン、前記第２ライン、および前記第３ラインの３つのラインが共通の点で交差しない前記記録区間のデータを算出対象から除外し、前記３つのラインが共通の点で交差する前記記録区間のそれぞれについて、前記３つのラインの交点を基準点として算出し、算出された複数の前記基準点に基づいて基準点の確定値を決定する、
ことを特徴とする。

上記（２）の映像基準点決定方法によれば、車両が走行している状態で撮影した映像の記録画像データに基づいて基準点を決定するので、校正のために特別な平坦な空間や目標物を用意する必要がない。しかも、停止状態で校正する場合と比べると、積み荷の有無の影響、タイヤの交換、車載カメラの取り付け状態の変化などの影響による誤差が生じないので、より適切な校正が実現する。また、車両が走行している状態で撮影した映像の記録画像データには、基準点の特定に適さないシーンが含まれる可能性が高いが、記録画像データの中で事前に定めた条件を満たす処理対象記録画像データを抽出して処理するので、基準点を適切な位置に定めることができる。また、処理対象記録画像データを抽出して処理するので、処理対象のデータ量を減らすことができ、処理の所要時間を短縮できる。

（３） 前記処理対象記録画像データとして、前記車両が高速道路または自動車専用道路を走行している区間のデータを抽出する、
ことを特徴とする上記（２）に記載の映像基準点決定方法。

上記（３）の映像基準点決定方法によれば、車両が高速道路または自動車専用道路を走行している区間のデータを処理対象記録画像データとして利用するので、基準点を適切な位置に定めることができる。すなわち、高速道路や自動車専用道路では、一般道と比べると、カーブしている場所が少ないし、路面の凹凸も少ないので、第１ライン、第２ライン、および第３ラインの延長線が１つの点で交差する可能性が高く、この点がＦＯＥの基準点として適切な位置にある確率も高くなる。

（４） 算出された複数の前記基準点の情報を集計して統計処理を施した結果を、前記基準点の確定値として出力する、
ことを特徴とする上記（２）に記載の映像基準点決定方法。

上記（４）の映像基準点決定方法によれば、基準点としてそれぞれが多少の誤差を含む多数の基準点候補が得られた場合に、統計処理により多数の基準点候補の位置を例えば平均化することにより、基準点の確定値として誤差の少ない結果を出力できる。

（５） 前記記録画像データとして、新たなデータが追加された場合には、追加された前記データに基づいて検出した新たな前記基準点を用いて前記確定値を更新する、
ことを特徴とする上記（４）に記載の映像基準点決定方法。

上記（５）の映像基準点決定方法によれば、記録画像データに新たなデータが追加された時に、このデータの内容を反映するように確定値を更新するので、確定値を最適化することができる。例えば、荷物の積載状況の変化、タイヤの交換、車載カメラの取り付け状態の変化などの影響により映像中の基準点の最適な位置が変化した場合に、その結果に追従するように、確定値を修正することができる。

（６） コンピュータに、上記（２）乃至（５）のいずれか１項に記載の映像基準点決定方法の手順を実行させる
ことを特徴とする映像基準点決定プログラム。

上記（６）の映像基準点決定プログラムを管理用のコンピュータ、あるいは車載器内のコンピュータで読み込んで実行することにより、基準点を適切な位置に決定できる。また、車両が走行している状態で撮影した映像の記録画像データに基づいて基準点を決定するので、校正のために特別な平坦な空間や目標物を用意する必要がない。しかも、停止状態で校正する場合と比べると、積み荷の有無の影響、タイヤの交換、車載カメラの取り付け状態の変化などの影響による誤差が生じないので、より適切な校正が実現する。また、車両が走行している状態で撮影した映像の記録画像データには、基準点の特定に適さないシーンが含まれる可能性が高いが、記録画像データの中で事前に定めた条件を満たす処理対象記録画像データを抽出して処理するので、基準点を適切な位置に定めることができる。また、処理対象記録画像データを抽出して処理するので、処理対象のデータ量を減らすことができ、処理の所要時間を短縮できる。

また、本発明に係る映像基準点決定方法は、下記（７）〜（９）のようになっていてもよい。

（７） 上記（２）に記載の映像基準点決定方法であって、
前記第１ライン、前記第２ライン、および前記第３ラインの３つが共通の点で交差しない場合には、該当するデータを算出対象から除外する、
ことを特徴とする。

上記（７）の映像基準点決定方法によれば、処理対象記録画像データに不適切なシーンの画像が含まれている場合であっても、このデータを処理する際に、該当データを基準点の算出対象から除外できる。例えば、画像に含まれる何らかのノイズの影響で第１ライン、第２ライン、および第３ラインのいずれかを誤認識したような場合に、誤認識の結果が基準点の位置に反映されるのを防止することができる。

（８） 上記（３）に記載の映像基準点決定方法であって、
前記記録画像データに前記車両の走行中の現在位置を表す位置情報が含まれている場合には、
所定の道路地図データと、前記記録画像データ中の前記位置情報とを対比して処理対象データに対応する道路を特定し、前記車両が高速道路または自動車専用道路を走行している区間のデータか否かを識別する、
ことを特徴とする。

上記（８）の映像基準点決定方法によれば、記録画像データの各区間の内容について、車両が高速道路または自動車専用道路を走行している区間のデータか否かを容易に識別できる。したがって、処理対象記録画像データを容易に抽出できる。

（９） 上記（３）に記載の映像基準点決定方法であって、
前記記録画像データに前記車両の走行中の道路の種別を表す道路種別情報が含まれている場合には、
前記記録画像データ中の前記道路種別情報を参照して、前記車両が高速道路または自動車専用道路を走行している区間のデータか否かを識別する、
ことを特徴とする。

上記（９）の映像基準点決定方法によれば、記録画像データの各区間の内容について、車両が高速道路または自動車専用道路を走行している区間のデータか否かを容易に識別できる。例えば、デジタルタコグラフのような運行記録計が記録した記録画像データを利用する場合には、この記録画像データの中に高速道、専用道、一般道を区別する道路種別情報が含まれているので、高速道、専用道、一般道を容易に区別できる。したがって、処理対象記録画像データを容易に抽出できる。

本発明の映像基準点決定方法および映像基準点決定プログラムによれば、ＦＯＥの基準点を適切に定めることが容易である。すなわち、校正作業用のＰＣを各車両に持ち込んで校正作業を行う必要がないし、停止状態で校正する場合と比べると誤差が生じにくく、より適切な校正が実現する。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図１は、事務所ＰＣの動作に本発明の実施形態の映像基準点決定方法を適用した場合の主要な処理手順を示すフローチャートである。 図２は、本発明を適用可能なシステムの構成例を示すブロック図である。 図３は、車載器の動作例を示すフローチャートである。 図４は、記録画像フレームを再生し画面に表示した場合の画面の具体例（１）を示す正面図である。 図５は、記録画像フレームを再生し画面に表示した場合の画面の具体例（２）を示す正面図である。 図６は、車載器を搭載した自車両の外観の具体例を示す側面図である。

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。

まず、本発明を適用可能なシステムの概要について説明する。
本発明を適用可能なシステムの構成例を図２に示す。また、車載器１０を搭載した自車両の外観の具体例を図６に示す。また、記録画像フレーム５０を再生し画面に表示した場合の画面の具体例（１）を図４に示す。

図６に示すように、管理対象の自車両５６上に車載器１０が搭載されている。この車載器１０は、デジタルタコグラフ、すなわち車両用の運行記録計の機能を有している。また、車載器１０の映像入力には高画質車載カメラ３１が接続されている。車載器１０は、高画質車載カメラ３１が撮影した映像を処理して対応する記録画像データを自動的に記録することができる。

高画質車載カメラ３１は、自車両５６の車室内に設置され、進行方向前方の道路の路面を含む風景を撮影できる方向に向けて固定してある。高画質車載カメラ３１が出力する映像信号を処理することにより、例えば図４に示すような記録画像フレーム５０を生成することができる。

つまり、高画質車載カメラ３１が撮影した映像の中には、自車両の走行レーン５１、先行車両５２、レーン左側区画線５３、レーン右側区画線５４、地平線５５などの様々な被写体の像が現れる。レーン左側区画線５３およびレーン右側区画線５４のそれぞれは、道路の路面に標示された白線のように、道路の延びる方向に対して平行な向きに延びる視認可能なラインである。地平線５５は、地面側の領域と空の領域との境界に相当する視認可能な水平方向のラインである。

例えば図４に示す記録画像フレーム５０の例では、レーン左側区画線５３、レーン右側区画線５４、地平線５５の延長線が１つの点で交差する。この点が動きの消失点ＦＯＥ（Focus of Expansion）であり、無限遠点に相当する。つまり、自車両５６が走行レーン５１に沿って走行する際に、高画質車載カメラ３１と各被写体とが相対的に移動するので、記録画像フレーム５０中の各像はＦＯＥの点から放射状に流れるように移動する。

自車両５６が走行している状態で高画質車載カメラ３１の映像を処理する時には、記録画像フレームに含まれる各画素の動きを表すベクトル、すなわちオプティカルフローを検出すると、動かない被写体については、全てのオプティカルフローの延長線が１つの点に収束する。この点がＦＯＥ、つまり動きの消失点である。図４に示した記録画像フレーム５０の例では、レーン左側区画線５３およびレーン右側区画線５４の各々の延びる方向がオプティカルフローの方向と一致しているので、レーン左側区画線５３、レーン右側区画線５４、地平線５５の延長線がＦＯＥの位置で交差する状態になる。

このようなＦＯＥは、自車両５６が向かっている方向の無限遠点に相当する画像フレーム上の位置を表すので、高画質車載カメラ３１が自車両５６の車体に固定されている状況であればほとんど変化することはなく、ＦＯＥを画像フレーム上の基準点として利用することが可能である。

但し、例えば車体に積載する荷物の状態などの影響により車高や傾斜が変化した場合や、走行中の加速度の影響、路面の凹凸の影響などにより、車体の向きが路面と平行な向きに対して傾斜した状態になると、画像フレーム上のＦＯＥの位置が上下方向にずれる可能性がある。

また、例えばレーン左側区画線５３およびレーン右側区画線５４の延長線の交点をＦＯＥとして検出する場合には、例えば自車両５６が蛇行運転している場合のように、自車両５６の進行方向が自車両の走行レーン５１の延びる方向と一致しない時に、前記交点とＦＯＥとの位置が一致しなくなる。また、自車両の走行レーン５１が直線でなくカーブしている場合にも、位置ずれが生じる。また、道路の凹凸がある場合や、坂道を走行する場合や、自車両５６が前後方向に傾斜している場合には、記録画像フレーム５０中の地平線５５の位置が上下に変動することになる。

このようなＦＯＥは、様々な用途で基準位置として利用できる。例えば、自車両５６が道路に沿って直進している場合には、道路上の各区画線はＦＯＥに向かう方向に延びているので、各区画線を認識する場合の基準位置としてＦＯＥを利用できる。また、自車両５６の左右の区画線の延長線上の交点とＦＯＥとを比較することにより、走行レーン５１の向きと自車両５６の実際の進行方向とのずれを検出可能である。

したがって、図４に示すような記録画像フレーム５０の画像認識を行うような用途においては、画像フレーム中のＦＯＥの基準位置を固定データとして事前に登録している。この登録については、一般的には、自車両５６を平坦な広い場所に停止させた状態で、その前方に所定の目標物を配置して、作業者の目視などにより校正を行って前記基準位置を特定している。

一方、本発明の映像基準点決定方法または映像基準点決定プログラムを利用する場合には、後述するように前記基準位置を自動的に特定できるので、極めて簡単な操作だけで校正作業を行うことができる。すなわち、本発明の映像基準点決定方法または映像基準点決定プログラムにおいては、例えば事前に車載器１０が記録した記録画像データを事務所ＰＣ４０が読み込んで解析することにより、前記基準位置を自動的に特定できる。前記記録画像データは、自車両５６の走行中に高画質車載カメラ３１で実際に撮影して得られた映像を車載器１０が記録した結果である。

次に、車載器１０の構成例を説明する。
図２に示した車載器１０は、マイクロコンピュータ（ＣＰＵ）１１、画像処理部１２、Ｇ（加速度）センサ１３、スピーカ１４、ＧＰＳインタフェース（Ｉ／Ｆ）１５、速度インタフェース１６、フラッシュメモリ（ＦＲＯＭ）１７、カードインタフェース１８、データ処理部１９、フラッシュメモリ２０、一時記憶用メモリ（ＤＤＲ）２１、および電源インタフェース２２を備えている。

前述の高画質車載カメラ３１が出力する映像信号は、画像処理部１２に入力される。画像処理部１２は、入力される映像信号をフレーム毎のデジタル画像データに変換する。また、このデジタル画像データの画像認識を画像処理部１２が実行し、例えば図４に示した先行車両５２、レーン左側区画線５３、レーン右側区画線５４、地平線５５などをそれぞれ認識する。

マイクロコンピュータ１１は、予め組み込まれているプログラムを実行することにより、車載器１０に必要とされる様々な機能を実現するための制御を行う。本実施形態の車載器１０はデジタルタコグラフであるので、マイクロコンピュータ１１は、基本的な動作として車両の状態や運行状態を表す様々な情報を自動的に取得してそのデータをメモリーカード３２上に記録する。また、高画質車載カメラ３１の映像に対応するデジタル画像データもメモリーカード３２上に記録される。

Ｇセンサ１３は、自車両の前後方向や左右方向に加わった加速度の大きさを検知することができる。スピーカ１４は、音声の電気信号を音響に変換し、音声によるメッセージ、指示、警報などを出力することができる。

ＧＰＳインタフェース１５は、ＧＰＳ受信機３３を車載器１０に接続するための信号処理を行う。ＧＰＳ受信機３３は、複数のＧＰＳ（Global Positioning System）衛星からの電波をそれぞれ受信し、受信時刻に基づいて自車両の現在位置を表す緯度、経度の情報を算出することができる。

速度インタフェース１６は、車両側の車速センサから出力される速度パルス信号を入力して、マイクロコンピュータ１１の処理に適した信号に変換する。マイクロコンピュータ１１は、この速度パルス信号のパルス周期や一定時間内のパルス数に基づいて現在の車速（ｋｍ／ｈ）を算出できる。また、速度パルス信号のパルス数から走行距離を算出することもできる。

フラッシュメモリ１７および２０は、データの書き換えが可能な不揮発性の読み出し専用メモリである。フラッシュメモリ１７は、所定のバックアップデータを保持している。フラッシュメモリ２０は、マイクロコンピュータ１１が実行するプログラムやデータを保持している。

カードインタフェース１８は、メモリーカード３２を着脱自在に保持可能な所定のカードスロットを有しており、メモリーカード３２を車載器１０に接続するための信号処理を行う。

データ処理部１９は、カードインタフェース１８に装着されたメモリーカード３２にアクセスしてデータの読み出しおよび書き込みを行うために必要なデータ処理を行う。例えば、アクセス可否の制御、データの暗号化／復号の制御、データ圧縮／伸張などの処理を行う。

一時記憶用メモリ２１は、データの読み出しおよび書き込みが自在なメモリであり、マイクロコンピュータ１１のアクセスにより様々なデータを一時的に格納するためのワーク領域として使用される。

電源インタフェース２２は、車両側から供給される所定の電源電力（ＢＡＴＴ：＋１２Ｖ等）に基づいて車載器１０の内部で必要とされる安定した電源電圧（＋５Ｖ等）を生成する機能や、イグニッションのオンオフを示す信号（ＩＧＮ）をマイクロコンピュータ１１の処理に適した電圧に変換する機能を備えている。

メモリーカード３２は、例えば市販のＳＤカードやＣＦカードのように、不揮発性メモリを内蔵した所定の規格に適合するカードであり、カードインタフェース１８のカードスロットに装着できる形状を有している。また、車載器１０に装着するメモリーカード３２については、これを使用する特定の乗務員や特定の車両に対応するＩＤなどの情報が事前に書き込まれている。

一方、車載器１０を搭載した車両の運行を管理する企業等の事務所内に、事務所ＰＣ４０が設置されている。この事務所ＰＣ４０は、一般的なパーソナルコンピュータに、車両の運行管理、乗務員の労務管理、車載器の管理などを行うための専用のソフトウェアを組み込んで構成してある。このソフトウェアの中に、本発明の映像基準点決定プログラムも含まれる。また、事務所ＰＣ４０はメモリーカード３２を装着可能なカードスロットや、データベースＤＢ１を配置するためのハードディスクのような大容量の記憶装置を備えている。

なお、本実施形態では、メモリーカード３２の物理的な移動により車載器１０と事務所ＰＣ４０との間でデータの転送を行う場合を想定しているが、車載器１０が無線通信機能を搭載している場合には、メモリーカード３２を移動することなくデータの転送を行うことが可能である。

車載器１０の動作例を図３に示す。すなわち、図２に示した車載器１０内のマイクロコンピュータ１１が図３の処理を実行する。

車載器１０において、画像処理部１２が画像認識を実行する際には、図４に示したようなＦＯＥの基準点を定数として事前に登録しておくことにより、このＦＯＥを利用して効率的に認識処理を行うことができる。

例えば、車載器１０を搭載した車両のイグニッションがオンになると、図３のステップＳ３１から処理を開始する。Ｓ３１では、ＦＯＥの基準点を表す定数のデータが車載器１０上に既に登録されているか否かをマイクロコンピュータ１１が識別する。登録されている場合はＳ３２に進み、未登録の場合はＳ３３に進む。

ステップＳ３２では、マイクロコンピュータ１１は、登録されているＦＯＥの基準点を画像処理部１２等が使用するようにこれを車載器１０の制御に反映する。また、例えば車載器１０に装着されているメモリーカード３２上にＦＯＥの基準点を表す最新の情報が存在する場合には、これを読み込んで車載器１０に登録されているＦＯＥの基準点を最新のデータに書き換える。

ステップＳ３３では、車載器１０における記録動作を開始する。この後、マイクロコンピュータ１１はＧセンサ１３が検出した加速度、ＧＰＳ受信機３３が検出した現在位置、入力される速度パルスに対応する車速、走行距離などの運行情報を定期的に収集して日時の情報と共にメモリーカード３２上に記録する。

また、図２には示されていないが、一般的なデジタルタコグラフにおいては、運転者が操作可能な複数のボタンが備わっている。例えば、「高速」ボタン、「専用」ボタン、「一般」ボタンのように、走行している道路の種類を運転者の手動操作で選択するためのボタンが備わっている。したがって、車載器１０は現在走行中の道路が、「高速道路」、「専用道路」、「一般道路」のいずれであるのかをボタン操作の読み取りにより識別できる。また、この車両が図示しないＥＴＣ（電子料金収受：Electronic Toll Collection）車載器を搭載している場合には、このＥＴＣ車載器の認識状態に基づいて、現在走行中の道路の種類を車載器１０が識別することも可能である。したがって、車載器１０がメモリーカード３２に記録する運行情報の中には、「高速道路」、「専用道路」、「一般道路」等の区別を表す情報が含まれる場合もある。

ステップＳ３４では、マイクロコンピュータ１１は画像の記録を実行する。すなわち、画像処理部１２が出力するフレーム毎のデジタル画像データをメモリーカード３２上に記録する。

車両の運行を継続している間は、ステップＳ３４が繰り返し実行されるので、例えば図４に示す記録画像フレーム５０のようなデジタル画像データがメモリーカード３２上に逐次記録される。

例えば、車両のイグニッションがオフになったことをマイクロコンピュータ１１が検知すると、運行終了とみなして図３の動作を終了する。なお、ステップＳ３４で記録する
デジタル画像データについては、連続的に全てのフレームを記録する必要はなく、１秒間に１フレーム程度のデータを周期的に記録するだけでもよい。

事務所ＰＣ４０の動作に本発明の実施形態の映像基準点決定方法を適用した場合の主要な処理手順を図１に示す。また、図１に示した処理手順が本発明の実施形態の映像基準点決定プログラムの実行により実現する動作に相当する。

図１に示した処理手順について以下に説明する。なお、図１に示した処理手順を事務所ＰＣ４０で実行する前に、所定の運行情報が記録されたメモリーカード３２を車載器１０から取り外して事務所に持ち帰り、事務所ＰＣ４０のカードスロットに装着する必要がある。

図１のステップＳ１１では、事務所ＰＣ４０は、装着されたメモリーカード３２から記録されたデータ、すなわち車載器１０を搭載した車両の運行情報や各フレームのデジタル画像データの読み込みを開始する。また、この記録データは時系列で記録順に並んだデータであるので、記録した時刻の早いデータから順番に読み込む。

ステップＳ１２では、メモリーカード３２から読み込んだ各時刻のデータが、高速道路を走行している間に記録されたデータか否かを事務所ＰＣ４０が識別する。前述のように、車載器１０がデータを記録している途中で、運転者が「高速」ボタン、「専用」ボタン、「一般」ボタン等を操作した場合や、前述のＥＴＣ車載器が高速道路等の入口ゲート通過や出口ゲート通過を検知した場合には、そのときの道路の種類を示す情報がメモリーカード３２の記録データの一部として書き込まれる。したがって、事務所ＰＣ４０は読み込んだデータの中から道路の種別を表す特定のデータを抽出して各時点の道路の種類を特定する。高速道路（専用道路でもよい）を走行中の記録データであれば次のＳ１３に進み、一般道を走行中の記録データであればＳ１６に進む。

また、メモリーカード３２に記録された運行情報の中に、ＧＰＳ受信機３３等が検出した車両の現在位置の情報が含まれている場合には、事務所ＰＣ４０がアクセス可能な道路地図データを事前に用意しておくことにより、記録された運行情報の中の車両位置と地図上の各位置とのマッチングを行い、走行している道路の種別を識別できる。したがって、道路の種類を示す情報がメモリーカード３２に記録されていない場合でも、Ｓ１２で道路の種別を識別できる。

ステップＳ１３では、事務所ＰＣ４０内の図示しないマイクロコンピュータや画像認識ユニットが、現在参照している１つのフレームのデジタル画像データについて、所定の画像認識を実行する。これにより、図４に示した記録画像フレーム５０のようなデータを処理する場合には、先行車両５２、レーン左側区画線５３、レーン右側区画線５４、地平線５５などが、公知の技術に基づいてそれぞれ自動的に認識される。

ステップＳ１４では、Ｓ１３における画像認識の結果、現在処理中のフレームのデジタル画像データについて、レーン左側区画線５３、レーン右側区画線５４、および地平線５５の３つの認識に成功したか否かを事務所ＰＣ４０が識別する。レーン左側区画線５３、レーン右側区画線５４、および地平線５５の３つの認識に成功した場合はＳ１５に進み、認識できなかった場合はＳ１６に進む。

ステップＳ１５では、事務所ＰＣ４０は、Ｓ１３で認識した画像フレームの内容に基づいてＦＯＥの座標を算出する。具体的には、レーン左側区画線５３の延長線と、レーン右側区画線５４の延長線と、地平線５５とが交わる点をＦＯＥとして検出する。図４に示す記録画像フレーム５０のような状態であれば、レーン左側区画線５３の延長線と、レーン右側区画線５４の延長線と、地平線５５とが１つの点で交差し、これがＦＯＥの位置とほぼ一致するので、交差した点の位置座標を処理中のフレームのＦＯＥとして特定する。

但し、１フレームの画像だけに基づいて検出されたＦＯＥは誤差を含んでいる可能性が高いので、複数フレームの画像について検出された複数のＦＯＥをＳ１５で集計して平均化処理を行い、その結果の平均座標を算出する。そして算出したＦＯＥ平均座標のマスタデータをＳ１５でデータベースＤＢ１に登録する。

つまり、Ｓ１５で検出される画像フレーム毎のＦＯＥの位置にはばらつきが生じるが、多数のフレームについて平均化したＦＯＥの位置を算出することにより、例えば図５に示すように適切なＦＯＥ位置を特定できる。

一方、Ｓ１３で誤認識が発生した場合や、記録画像フレーム５０に映った道路等の状況によっては、レーン左側区画線５３の延長線と、レーン右側区画線５４の延長線と、地平線５５とが１つの点で交差しない場合があり、無理にＦＯＥを算出しようとすると大きな誤差が生じる可能性がある。例えば、道路上に標示されている白線がかすれていて認識困難な場合や、坂道の上り／下りなどの影響を受けている場合には、大きな誤差が生じる事になる。したがって、認識したレーン左側区画線５３の延長線と、レーン右側区画線５４の延長線と、地平線５５とが１つの点で交差しない場合には、このフレームをＦＯＥの算出対象から除外するようにＳ１５で処理する。これにより、道路の状況に起因する誤差の増大を抑制できる。

図１に示した処理を定期的に実行する場合には、同じ車両について以前に算出したＦＯＥ平均座標のマスタデータが既にデータベースＤＢ１に登録されている場合がある。その状態で、新たなデジタル画像データをメモリーカード３２から読み込んだ場合には、データベースＤＢ１上のマスタデータと、今回の画像フレームについて算出したＦＯＥ座標またはＦＯＥ平均座標とを用いてＳ１５で平均化処理を行い、その結果をデータベースＤＢ１に登録する。つまり、メモリーカード３２から新たなデータを読み込む毎に、データベースＤＢ１上のマスタデータを逐次更新する。

メモリーカード３２に記録されている全ての画像フレームについて、Ｓ１２〜Ｓ１６の処理が繰り返され、各画像フレームの内容がデータベースＤＢ１上のマスタデータに反映される。メモリーカード３２に記録されている全ての画像フレームの処理が終了すると、Ｓ１６からＳ１７に進む。

ステップＳ１７を実行する時点で、メモリーカード３２に記録された全てのデータは処理済みであり不要なので、Ｓ１７では事務所ＰＣ４０がメモリーカード３２の内容をクリアする。また、次のステップＳ１８で事務所ＰＣ４０はデータベースＤＢ１に登録されているマスタデータの内容をダウンロードしてメモリーカード３２に書き込む。つまり、今回の図１の処理によって得られた最新のＦＯＥ座標を表すデータをメモリーカード３２に新たに登録する。

次に、ＦＯＥ座標決定後の動作について説明する。
図１のステップＳ１８で最新のＦＯＥ座標が書き込まれたメモリーカード３２は、事務所ＰＣ４０から取り外された後、該当する車両を運転する特定の乗務員が乗務を開始する時に、該当車両上の車載器１０に装着される。車載器１０は、車両のイグニッションがオンになると、装着されたメモリーカード３２の内容を読み取る。この時に、メモリーカード３２には最新のＦＯＥ座標を表すデータが書き込まれているので、車載器１０のマイクロコンピュータ１１は、図３のステップＳ３１からＳ３２に進み、メモリーカード３２から読み込んだＦＯＥ座標のデータをこれ以降の制御に反映する。

例えば、道路上に標示されている白線がかすれているような場合には、この白線をパターン認識することが困難である。しかし、ＦＯＥの位置が既知である場合には、画像フレーム上で白線が向かっている方向を容易に特定できるので、部分的にかすれがある場合でも白線を正しく認識できる可能性が高くなる。

以上のように、図１に示した処理手順に相当する映像基準点決定方法を採用することにより、ＦＯＥの位置の校正を車両を停止した状態で行う必要がなくなるため、校正作業が極めて簡単になり、特別な作業空間を用意したり目標物を用意する必要もなくなる。

また、車両が実際に走行している状態の映像に基づいてＦＯＥの位置を決定するので、現実の運行環境と同じ状態でより適切なＦＯＥの位置を特定できる。例えば、荷物の積載状態に応じて車高や車体の傾斜が変化すると、空車の場合と比べてＦＯＥの位置がずれることになるが、荷物を積載した状態の映像に基づいてＦＯＥの位置を特定することにより、誤差を減らすことができる。

また、高速道路を走行している場合のような特別な条件を満たすデータだけを抽出してＦＯＥの位置を算出するので、位置精度を高めることができる。例えば、高速道路はカーブしている場所や路面の凹凸などが一般道と比べて少ないので、ＦＯＥの位置を算出するのに適した環境の画像が得られることになり、計算誤差が生じにくい。また、処理対象のデータ量が減るので、図１の処理を実行する際の所要時間を短縮できる。

なお、特別な条件を満たすデータだけを抽出する処理については、図１のように事務所ＰＣ４０が読み込んだデータを解析する時に行ってもよいし、車載器１０がデジタル画像データをメモリーカード３２に記録する時に行ってもよい。例えば、運転者の手動スイッチ操作、ＥＴＣ車載器の検出状態、検出した車両の現在位置などに基づいて、車載器１０における記録開始や記録停止の指示を発生すれば、ＦＯＥの算出に適した道路の区間を走行するときだけについてデジタル画像データをメモリーカード３２に記録することができる。

なお、図１に示した処理手順については、車載器１０上のマイクロコンピュータ１１が実行することも可能である。また、図１に示した処理手順ではステップＳ１５で複数のＦＯＥの位置座標の平均化を行っているが、これ以外の統計処理を行ってもよい。

ここで、上述した本発明に係る映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラムの実施形態の特徴をそれぞれ以下［１］〜［６］に簡潔に纏めて列記する。
［１］ 車両上に設置された車載カメラ（高画質車載カメラ３１）と、前記車載カメラで撮影した映像を認識する際に利用される前記映像上の特定の基準点（ＦＯＥ）を決定するための管理装置（事務所ＰＣ４０）と、を備えた映像基準点決定システムであって、
前記管理装置は、前記車両の走行中に前記車載カメラで撮影して得られた映像の記録画像データを読み込み、前記記録画像データの中で事前に定めた条件を満たす処理対象記録画像データを抽出する抽出部（ＣＰＵ１１、画像処理部１２、Ｓ１１、Ｓ１２）と、
前記処理対象記録画像データに対して所定の画像認識処理を行い、前記車両が走行している道路上で前記道路に沿った方向に現れる前記車両よりも左側の第１ライン（レーン左側区画線５３）、および前記車両よりも右側の第２ライン（レーン右側区画線５４）と、地平線に相当する第３ライン（地平線５５）とをそれぞれ検出する検出部（ＣＰＵ１１、画像処理部１２、Ｓ１３）と、
前記第１ライン、前記第２ライン、および前記第３ラインの交点に基づいて前記基準点を決定する基準点決定部（ＣＰＵ１１、Ｓ１５）と、を有する
ことを特徴とする映像基準点決定システム。
［２］ 車両上に設置された車載カメラ（高画質車載カメラ３１）で撮影した映像を認識する際に利用される前記映像上の特定の基準点（ＦＯＥ）を決定するための映像基準点決定方法であって、
前記車両の走行中に前記車載カメラで実際に撮影して得られた映像の記録画像データを読み込む（Ｓ１１）と共に、前記記録画像データの中で事前に定めた条件を満たす処理対象記録画像データを抽出し（Ｓ１２）、
前記処理対象記録画像データに対して所定の画像認識処理を行い（Ｓ１３）、前記車両が走行している道路上で前記道路に沿った方向に現れる前記車両よりも左側の第１ライン（レーン左側区画線５３）、および前記車両よりも右側の第２ライン（レーン右側区画線５４）と、地平線に相当する第３ライン（地平線５５）とをそれぞれ検出し、
前記第１ライン、前記第２ライン、および前記第３ラインの交点に基づいて前記基準点を決定する（Ｓ１５）、
ことを特徴とする映像基準点決定方法。

［３］ 前記［２］に記載の映像基準点決定方法であって、
前記処理対象記録画像データとして、前記車両が高速道路または自動車専用道路を走行している区間のデータを抽出する（Ｓ１２）、
ことを特徴とする映像基準点決定方法。

［４］ 前記［２］に記載の映像基準点決定方法であって、
前記処理対象記録画像データの複数記録区間のそれぞれについて前記基準点を検出し、複数の前記基準点の情報を集計して統計処理を施した結果を、前記基準点の確定値として出力する（Ｓ１５）、
ことを特徴とする映像基準点決定方法。

［５］ 前記［２］に記載の映像基準点決定方法であって、
前記記録画像データとして、新たなデータが追加された場合には、追加された前記データに基づいて検出した新たな前記基準点を用いて前記確定値を更新する（Ｓ１５）、
ことを特徴とする映像基準点決定方法。

［６］ コンピュータに、前記［２］乃至［５］のいずれかに記載の映像基準点決定方法の手順を実行させる
ことを特徴とする映像基準点決定プログラム。

１０ 車載器
１１ マイクロコンピュータ
１２ 画像処理部
１３ Ｇセンサ
１４ スピーカ
１５ ＧＰＳインタフェース
１６ 速度インタフェース
１７，２０ フラッシュメモリ
１８ カードインタフェース
１９ データ処理部
２１ 一時記憶用メモリ
２２ 電源インタフェース
３１ 高画質車載カメラ
３２ メモリーカード
３３ ＧＰＳ受信機
４０ 事務所ＰＣ
５０，５０Ａ 記録画像フレーム
５１ 自車両の走行レーン
５２ 先行車両
５３ レーン左側区画線
５４ レーン右側区画線
５５ 地平線
５６ 自車両
ＤＢ１ データベース

Claims (6)

1. 車両上に設置された車載カメラと、前記車載カメラで撮影した映像を認識する際に利用される前記映像上の特定の基準点を決定するための管理装置と、を備えた映像基準点決定システムであって、
   前記管理装置は、前記車両の走行中に前記車載カメラで撮影して得られた映像の記録画像データを読み込み、前記記録画像データの中で事前に定めた条件を満たす処理対象記録画像データを抽出する抽出部と、
   前記処理対象記録画像データに含まれる複数の記録区間のそれぞれに対して、所定の画像認識処理を行い、前記車両が走行している道路上で前記道路に沿った方向に現れる前記車両よりも左側の第１ライン、および前記車両よりも右側の第２ラインと、地平線に相当する第３ラインとをそれぞれ検出する検出部と、
   複数の前記記録区間のうち前記第１ライン、前記第２ライン、および前記第３ラインの３つのラインが共通の点で交差しない前記記録区間のデータを算出対象から除外し、前記３つのラインが共通の点で交差する前記記録区間のそれぞれについて、前記３つのラインの交点を基準点として算出し、算出された複数の前記基準点に基づいて基準点の確定値を決定する基準点決定部と、を有する
   ことを特徴とする映像基準点決定システム。
2. 車両上に設置された車載カメラで撮影した映像を認識する際に利用される前記映像上の特定の基準点を決定するための映像基準点決定方法であって、
   前記車両の走行中に前記車載カメラで撮影して得られた映像の記録画像データを読み込み、前記記録画像データの中で事前に定めた条件を満たす処理対象記録画像データを抽出し、
   前記処理対象記録画像データに含まれる複数の記録区間のそれぞれに対して所定の画像認識処理を行い、前記車両が走行している道路上で前記道路に沿った方向に現れる前記車両よりも左側の第１ライン、および前記車両よりも右側の第２ラインと、地平線に相当する第３ラインとをそれぞれ検出し、
   複数の前記記録区間のうち前記第１ライン、前記第２ライン、および前記第３ラインの３つのラインが共通の点で交差しない前記記録区間のデータを算出対象から除外し、前記３つのラインが共通の点で交差する前記記録区間のそれぞれについて、前記３つのラインの交点を基準点として算出し、算出された複数の前記基準点に基づいて基準点の確定値を決定する、
   ことを特徴とする映像基準点決定方法。
3. 前記処理対象記録画像データとして、前記車両が高速道路または自動車専用道路を走行している区間のデータを抽出する、
   ことを特徴とする請求項２に記載の映像基準点決定方法。
4. 算出された複数の前記基準点の情報を集計して統計処理を施した結果を、前記基準点の確定値として出力する、
   ことを特徴とする請求項２に記載の映像基準点決定方法。
5. 前記記録画像データとして、新たなデータが追加された場合には、追加された前記データに基づいて検出した新たな前記基準点を用いて前記確定値を更新する、
   ことを特徴とする請求項４に記載の映像基準点決定方法。
6. コンピュータに、請求項２乃至請求項５のいずれか１項に記載の映像基準点決定方法の手順を実行させる
   ことを特徴とする映像基準点決定プログラム。

Images