JP2018160732A - 画像処理装置、カメラずれ判定システム、及び画像処理方法 - Google Patents

Abstract

【課題】車載カメラの位置ずれに関する判定を適切に行うことを可能とする技術を提供する。【解決手段】車載カメラで撮影された撮影画像を処理する画像処理装置は、検出部と、ずれ判定部と、を備える。前記検出部は、前記車載カメラを搭載する車両が所定の移動をしたときの前記撮影画像中の特徴点の動きを検出する。前記ずれ判定部は、前記検出部の検出結果に基づいて前記車載カメラの位置ずれに関する判定を行う。【選択図】図１

Description

本発明は、車載カメラの位置ずれを判定する技術に関する。

従来、車載カメラを用いて、例えば車両の駐車支援等の運転支援が行われている。車載カメラは、車両を工場から出荷する前に、車両に固定状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付状態から位置ずれを起こすことがある。車載カメラの位置（車両のボディに対する車載カメラの相対位置）がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの位置ずれを検出することは重要である。

特許文献１には、車載カメラの光軸ずれを検出する技術が開示される。特許文献１における車載カメラの光軸ずれ検出装置は、画像処理手段と判断手段とを備える。画像処理手段は、運転支援する車体部上のマーキングを含む範囲を撮影する車載カメラの撮影画像から該マーキングの位置情報を検出する。判断手段は、初期設定されたマーキング位置情報と、新たに検出されたマーキングの位置情報とを比較することにより、撮影光軸ずれを判断する。

特開２００４−１７３０３７号公報

車載カメラの撮影画像には、車両周囲の風景等が映るために、例えばマーキングがボンネットの一部の特定形状である場合、当該特定形状を簡単に抽出できないことがある。当該特定形状が誤検出されると、車載カメラの光軸ずれが正確に判断されない可能性がある。

なお、車両周囲に大きさ、形状、及び車両との相対位置が既知のマーカーが存在する場合や走行車線に描かれている白線の消失点を検出できる場合には、これらの情報を使用することで車載カメラの位置ずれに関する判定が可能となる。しかしながら、例えばバレーパーキングにおいて車両の自動運転機能を利用して自動出庫を行うときのようなイグニッションスイッチがオンになった直後に自動運転を実施する状況を考えた場合、既知のマーカーに関する情報や白線の消失点に関する情報を取得することができない。

本発明は、上記課題に鑑みて、車載カメラの位置ずれに関する判定を適切に行うことを可能とする技術を提供することを目的とする。

本発明の画像処理装置は、車載カメラで撮影された撮影画像を処理する画像処理装置であって、前記車載カメラを搭載する車両が所定の移動をしたときの前記撮影画像中の特徴点の動きを検出する検出部と、前記検出部の検出結果に基づいて前記車載カメラの位置ずれに関する判定を行うずれ判定部と、を備える構成（第１の構成）である。

上記第１の構成の画像処理装置において、前記検出部は、前記車載カメラが撮影領域の水平方向または奥行き方向に移動するように前記車両が移動したときの、撮像領域を左右に均等分割する中心線付近にある、少なくとも一つの前記特徴点の動きを検出する構成（第２の構成）であってもよい。

上記第１又は第２の構成の画像処理装置において、前記車載カメラは前記車両の前方を撮影するカメラ又は前記車両の後方を撮影するカメラであって、前記検出部は、第１のモードにおいて、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときのみの前記特徴点の動きを検出し、第２のモードにおいて、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの前記特徴点の動き、及び、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときの前記特徴点の動きを検出する構成（第３の構成）であってもよい。また、上記第１又は第２の構成の画像処理装置において、前記車載カメラは前記車両の側方を撮影するカメラであって、前記検出部は、第１のモードにおいて、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときのみの前記特徴点の動きを検出し、第２のモードにおいて、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときの前記特徴点の動き、及び、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの前記特徴点の動きを検出する構成（第４の構成）であってもよい。

上記第１の構成の画像処理装置において、前記検出部は、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの、前記撮影領域の水平方向にずれて存在する複数の前記特徴点の動きを検出し、前記ずれ判定部は、前記検出部の検出結果に基づいて複数の前記特徴点の消失点を検出し、検出した前記消失点の位置に基づいて前記車載カメラの位置ずれに関する判定を行う構成（第５の構成）であってもよい。

上記第１の構成の画像処理装置において、前記検出部は、単一の前記特徴点について、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が第１の位置から移動したときの前記特徴点の動きを検出し、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が第２の位置から移動したときの前記特徴点の動きを検出し、前記第１の位置と前記第２の位置とは前記車載カメラの撮影領域の水平方向にずれており、前記ずれ判定部は、前記検出部の検出結果に基づいて単一の前記特徴点の消失点を検出し、検出した前記消失点の位置に基づいて前記車載カメラの位置ずれに関する判定を行う構成（第６の構成）であってもよい。

上記第１の構成の画像処理装置において、前記車両が前記所定の移動をしたときの前記車両の速度情報を取得する取得部を備え、前記ずれ判定部は、前記検出部の検出結果に基づいて前記車両の速度を推定し、推定した前記車両の速度と、前記取得部によって取得された前記車両の速度情報との比較結果に基づいて前記車載カメラの位置ずれに関する判定を行う構成（第７の構成）であってもよい。

本発明のカメラずれ判定システムは、上記第１〜第６いずれかの構成の画像処理装置と、ドライバーの運転操作によらずに前記車両に前記所定の移動を行わせる自動運転制御部と、を備える構成（第８の構成）である。

本発明の画像処理方法は、車載カメラで撮影された撮影画像を処理する画像処理方法であって、前記車載カメラを搭載する車両が所定の移動をしたときの前記撮影画像中の特徴点の動きを検出する検出工程と、前記検出工程の検出結果に基づいて前記車載カメラの位置ずれに関する判定を行うずれ判定工程と、を備える構成（第９の構成）である。

本発明によると、車載カメラの位置ずれに関する判定を適切に行うことを可能とする技術を提供できる。

カメラずれ判定システムの構成を示すブロック図 ４つの車載カメラが車両に配置される位置を例示する図 カメラずれ判定システムによるカメラずれの検出フローの一例を示すフローチャート フロントカメラで撮影した画像の一例を示す模式図 車両と特徴点との位置関係を示す模式図 フロントカメラで撮影した画像の一例を示す模式図 フロントカメラで撮影した画像の一例を示す模式図 フロントカメラで撮影した画像の一例を示す模式図 フロントカメラで撮影した画像の一例を示す模式図 左サイドカメラで撮影した画像の一例を示す模式図 左サイドカメラで撮影した画像の一例を示す模式図 左サイドカメラで撮影した画像の一例を示す模式図 左サイドカメラで撮影した画像の一例を示す模式図 車両と特徴点との位置関係を示す模式図 フロントカメラで撮影した画像の一例を示す模式図 フロントカメラで撮影した画像の一例を示す模式図 右サイドカメラで撮影した画像の一例を示す模式図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。また、本明細書では、カメラの位置ずれのことを、単にカメラずれと表現する場合がある。

＜１．カメラずれ判定システムの概略＞
図１は、本実施の形態に係るカメラずれ判定システムＳＹＳ１の構成を示すブロック図である。カメラずれ判定システムＳＹＳ１は、車載カメラの位置ずれを判定するシステムである。カメラずれ判定システムＳＹＳ１は、画像処理装置１と、撮影部２と、センサ部３と、車両制御装置４と、を備える。

画像処理装置１は、車載カメラで撮影された撮影画像を処理する装置である。画像処理装置１は、車載カメラを搭載する車両ごとに備えられる。本実施の形態では、画像処理装置１は、撮影部２から撮影画像を取得して処理する。また、画像処理装置１は、センサ部３から情報を取得して、取得情報に基づいて画像処理に関する判断を行う。なお、センサ部３は、場合によっては、カメラずれ判定システムＳＹＳ１に含まれなくてもよい。

本実施の形態では、画像処理装置１は、撮影部２で撮影された撮影画像を処理して、カメラずれの検出を行う。

本実施の形態では、画像処理装置１は、表示装置５と運転支援装置６とに処理情報を出力する。なお、画像処理装置１は、これらの装置５、６から情報を受け取り、受け取った情報に基づいてカメラずれの判定処理を行ってもよい。この場合、これらの装置５、６もカメラずれ判定システムＳＹＳ１に含まれてよい。

表示装置５は、画像処理装置１から出力される情報を画面表示する装置であり、例えば液晶表示装置であってよい。表示装置５は、例えばタッチパネル方式等の入力部を備えて、外部から情報を入力できる構成であってよい。

運転支援装置６は、撮影部２で撮影された画像を用いて運転を支援する装置であり、例えば自動運転支援装置、自動駐車支援装置、自動緊急ブレーキ装置等を含んでよい。運転支援装置６は、例えば、エンジンの始動とともに自動的に運転支援を開始する構成であってよい。また、運転支援装置６は、例えば運転者によってボタン等が押された場合に運転支援を開始する構成であってよい。

撮影部２は、車両周辺の状況を監視する目的で設けられる。撮影部２は、４つのカメラ２１〜２４を備える。４つのカメラ２１〜２４は、車載カメラである。図２は、４つの車載カメラ２１〜２４が車両７に配置される位置を例示する図である。

車載カメラ２１は車両７の前端に設けられる。このため、車載カメラ２１をフロントカメラ２１とも呼ぶ。フロントカメラ２１の光軸２１ａは上からの平面視で車両７の前後方向に沿っている。フロントカメラ２１は車両７の前方向を撮影する。車載カメラ２２は車両７の後端に設けられる。このため、車載カメラ２２をバックカメラ２２とも呼ぶ。バックカメラ２２の光軸２２ａは上からの平面視で車両７の前後方向に沿っている。バックカメラ２２は車両７の後方向を撮影する。フロントカメラ２１及びバックカメラ２２の取付位置は、車両７の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

車載カメラ２３は車両７の左側ドアミラー７１に設けられる。このため、車載カメラ２３を左サイドカメラ２３とも呼ぶ。左サイドカメラ２３の光軸２３ａは上からの平面視で車両７の左右方向に沿っている。左サイドカメラ２３は車両７の左方向を撮影する。車載カメラ２４は車両７の右側ドアミラー７２に設けられる。このため、車載カメラ２４を右サイドカメラ２４とも呼ぶ。右サイドカメラ２４の光軸２４ａは上からの平面視で車両７の左右方向に沿っている。右サイドカメラ２４は車両７の右方向を撮影する。なお、車両７がいわゆるドアミラーレス車である場合には、左サイドカメラ２３は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられ、右サイドカメラ２４は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。

各車載カメラ２１〜２４の水平方向の画角θは１８０度以上である。このため、車載カメラ２１〜２４によって、車両７の水平方向における全周囲を撮影することができる。また、車載カメラ２１〜２４によって撮影される画像には、車載カメラ２１〜２４を搭載する車両７のボディが映り込む。

なお、本実施の形態では、車載カメラの数を４つとしているが、この数は適宜変更されてよく、複数であっても単数であってもよい。例えば、車両７がバックで駐車することを支援する目的で車載カメラが搭載されている場合には、車載カメラは、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の３つで構成されてもよい。

図１に戻って、センサ部３は、車載カメラ２１〜２４が搭載される車両７に関する情報を検出する複数のセンサを有する。車両７に関する情報には、車両自体の情報と、車両周辺の情報とが含まれてよい。本実施の形態では、センサ部３は、例えば、車両の速度を検出する車速度センサ、ステアリングホイールの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ等を含む。本実施の形態では、センサ部３で検出された情報は、画像処理装置１に直接入力される構成としているが、これは例示にすぎない。例えば、センサ部３で検出された情報は、車両制御装置４又は運転支援装置６を介して画像処理装置１に入力されてもよい。

車両制御装置４は、車両の動作全般に関わる制御を行う。車両制御装置４は、例えばエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源制御用ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。本実施の形態では、車両制御装置４は、画像処理装置１と情報をやり取りする。車両制御装置４は、ドライバーの運転操作によって車両の移動を制御する手動運転制御機能を有するだけでなく、ドライバーの運転操作によらずに車両の移動を制御する自動運転制御機能も有する。したがって、車両制御装置４は、自動運転制御機能を実現する自動運転制御部４１を有する。

図３は、カメラずれ判定システムＳＹＳ１によるカメラずれの検出フローの一例を示すフローチャートである。図３に示すように、例えば自動車メーカー等の工場において、各車両７に対して４つの車載カメラ２１〜２４が取り付けられる（ステップＳ１）。各車載カメラ２１〜２４は、所定の向きに光軸２１ａ〜２４ａが合された状態で、所定の取付位置に固定される。

また、工場においては、車載カメラの初期位置（車両のボディに対する車載カメラの相対初期位置）に関するデータが取得される（ステップＳ２）。車載カメラの初期位置に関するデータは、車載カメラ２１〜２４を搭載した車両７が市場に出された後において、車載カメラ２１〜２４の位置ずれが発生しているか否かの判定を行うために使用されるデータである。本実施の形態において、車載カメラの初期位置に関するデータは、画像処理装置１を用いて、各車載カメラ２１〜２４に対して取得される。取得された車載カメラの初期位置に関するデータは、画像処理装置１が備える後述の記憶部１２に記憶される。

本実施の形態においては、車載カメラ２１〜２４を搭載した車両７が市場に出された後、画像処理装置１によってカメラずれに関する判定処理が行われる。カメラずれに関する判定処理は、各車載カメラ２１〜２４に対して行われる。画像処理装置１は、カメラずれに関する判定を開始するタイミングか否かを判断する（ステップＳ３）。画像処理装置１は、ステップＳ３でＮｏの場合、カメラずれに関する判定を開始するタイミングか否かの判断を繰り返す。

カメラずれに関する判定を開始するタイミングは、例えば車両７のエンジン始動を検出したタイミングであってもよい。これにより、運転支援装置６による車両７の運転支援が開始される前にカメラの状態を確認することができ、運転支援の安全性を向上することができる。また、カメラずれに関する判定を開始するタイミングは、例えばバレーパーキングにおいて車両の自動運転機能を利用して自動出庫を行うタイミングであってもよい。また、バレーパーキングにおいて車両の自動運転機能を利用して自動入庫を行うタイミング等も含み得る、車両停止状態から自動運転を開始するタイミングであってもよい。これにより、車両停止状態から自動運転が開始される前にカメラの状態を確認することができ、自動運転の安全性を向上することができる。

また、画像処理装置１は、例えば、表示装置５等から運転者が入力するカメラずれの検出指示によって、カメラずれの検出タイミングであることを認識してもよい。また、画像処理装置１は、車両制御装置４又は運転支援装置６からの指示によって、カメラずれの検出タイミングであることを認識してもよい。

画像処理装置１は、カメラずれに関する判定を開始するタイミングであると判断すると（ステップＳ３でＹｅｓ）、車載カメラ２１〜２４による撮影画像を取得して車両７が所定の移動をしたときの撮影画像中の特徴点の動きを検出する（ステップＳ４）。ドライバーの負担を軽減する観点又はバレーパーキングにおいて車両の自動運転機能を利用して自動出庫若しくは自動入庫を行う場合等のドライバーが車内にいない場合でも車両の移動を可能とする観点から、ドライバーの運転操作によらずに車両制御部４の自動運転制御部４１が車両７に所定の移動を行わせることが好ましい。特徴点とは、際立って検出できる点であり、例えば、建物のコーナー、駐車車両のコーナー、路面に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等を挙げることができる。特徴点の動きの詳細については後述する。

特徴点の動きを抽出すると、画像処理装置１は、検出された特徴点の動きに基づいて車載カメラ２１〜２４の位置ずれに関する判定を行う（ステップＳ５）。位置ずれに関する判定を行うに際しては、前述の車載カメラの初期位置に関するデータも利用される。位置ずれに関する判定の詳細については後述する。

車載カメラ２１〜２４の位置ずれが発生していないと判定された場合（ステップＳ５でＹｅｓ）、画像処理装置１は、ステップＳ３に戻り、次の判定開始タイミングを検出した場合にカメラずれに関する判定処理を繰り返す。カメラの位置ずれが発生していないと判定された場合、画像処理装置１は、例えば運転支援装置６等に車載カメラが正常であることを通知してもよい。

車載カメラ２１〜２４の位置ずれが発生していると判定された場合（ステップＳ５でＮｏ）、画像処理装置１は、車載カメラ２１〜２４の位置ずれが発生したことを報知する（ステップＳ６）。本実施の形態では、画像処理装置１は、車載カメラ２１〜２４の位置ずれが発生したことを表示装置５によって報知する。カメラの位置ずれ発生の報知には、音声等が使用されてもよい。さらに、画像処理装置１は、車両７に搭載されている不図示の通信装置を利用して、ドライバーが所持するスマートフォン等の外部機器にカメラの位置ずれ発生を報知する表示信号や音声信号を送信してもよい。また、画像処理装置１は、運転支援装置６に車載カメラ２１〜２４の位置ずれの発生を通知して、運転支援装置６による運転支援を停止させる。なお、本実施の形態では、４つの車載カメラ２１〜２４が存在するが、４つの車載カメラ２１〜２４のうちの１つでも位置ずれが発生した場合には、上記報知処理及び停止処理が行われることが好ましい。

なお、車載カメラ２１〜２４の位置ずれが発生していると判定された場合（ステップＳ５でＮｏ）、自動運転制御部４１の制御によって、判定開始タイミングを検出した時点の位置に車両７を戻しておくことが好ましい。判定開始タイミングを検出した時点の位置が車両７の安全を確保できる場所（例えば駐車枠内）である可能性が高いからである。

カメラずれの発生に伴い、車両のユーザは、例えばディーラにカメラの取付調整を依頼する。これに応じて、ディーラは、車載カメラの取付調整を行う（ステップＳ７）。また、ディーラは、画像処理装置１を用いて、上述した車載カメラの初期位置に関するデータの再取得処理を行う（ステップＳ８）。この後は、ステップＳ３に戻って、画像処理装置１は、判定開始タイミングを検出すると、再取得した車載カメラの初期位置に関するデータに基づいて、カメラの位置ずれを判定する。

なお、本実施の形態では、カメラずれが発生していると判定された場合に、車載カメラの取付調整が行われる構成としているが、これは例示にすぎない。カメラずれが発生していると判定した場合に、画像処理装置１は、車載カメラの位置ずれを補正して撮影画像を用いる構成としてもよい。例えば、車載カメラの取付調整を前提とした、ずれ発生の報知処理や、運転支援の停止処理は、車載カメラのずれ状態が不明な場合にのみ行う構成としてもよい。カメラのずれ状態が不明とは、例えば、カメラがどの程度位置ずれや角度ずれを起しているかが不明な状態を指す。車載カメラのずれ状態が明確で補正して使用できる場合には、画像処理装置１は、ずれ発生の報知処理や、運転支援の停止処理を行わない構成としてよい。

＜２．画像処理装置の詳細＞
図１に戻って、画像処理装置１は、マイコン１１及び記憶部１２を含んで構成される。マイコン１１は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部１２は、不揮発性のメモリである。マイコン１１は、記憶部１２に記憶されたプログラムに基づいて情報の処理及び送受信を行う。マイコン１１は、有線又は無線で、撮影部２、センサ部３、車両制御装置４、表示装置５、及び、運転支援装置６に接続される。

マイコン１１は、検出部１１１と、ずれ判定部１１２と、を備える。マイコン１１が備えるこれらの各部１１１、１１２の機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。

検出部１１１は、車両７が所定の移動をしたときの車載カメラ２１〜２４で撮影された撮影画像中の特徴点の動き（オプティカルフロー）を検出する。本実施の形態では、車載カメラ２１〜２４の数は４つであり、検出部１１１による検出処理は、各車載カメラ２１〜２４ごとに行われる。

ずれ判定部１１２は、検出部１１１の検出結果に基づいて車載カメラ２１〜２４の位置ずれに関する判定を行う。本実施の形態では、車載カメラ２１〜２４の数は４つであり、ずれ判定部１１２による判定処理は、各車載カメラ２１〜２４ごとに行われる。

カメラの位置ずれには、カメラが鉛直軸回りに回転するＰＡＮ（パン）、カメラが水平軸回りに回転するＴＩＬＴ（チルト）、及びカメラが光軸又は光軸に平行な軸回りに回転するＲＯＬＬ（ロール）からなる３つの方向のずれが存在する。

図４は、フロントカメラ２１で撮影した撮影画像Ｐ１の一例を示す模式図である。フロントカメラ２１は、画角θが１８０度以上であり、図４に示すように、撮影画像Ｐ１には、車両７のボディ７０が映り込む。図４（ａ）は、フロントカメラ２１が初期位置のまま固定されている状態で撮影された画像である。すなわち、フロントカメラ２１が正常な状態で撮影された画像である。図４（ｂ）は、フロントカメラ２１が初期位置からＰＡＮ方向にずれ光軸が車両の右側に傾いた状態で撮影された画像である。図４（ｃ）は、フロントカメラ２１が初期位置からＴＩＬＴ方向にずれ光軸が上向きに傾いた状態で撮影された画像である。図４（ｄ）は、フロントカメラ２１が初期位置からＲＯＬＬ方向にずれ撮影領域が反時計回りに回転した状態で撮影された画像である。

本実施の形態では、車両７が所定の移動をしたときの車載カメラ２１〜２４で撮影された撮影画像中の特徴点の動きが車載カメラ２１〜２４の位置ずれに応じて異なることを利用して、車両７が所定の移動をしたときの車載カメラ２１〜２４で撮影された撮影画像中の特徴点の動きに基づいて車載カメラ２１〜２４の位置ずれに関する判定が行われている。したがって、撮影画像中の特徴点が存在し、且つ、車両７が所定の移動を行うことができる場所に停車しているという条件さえ満たせば、ボンネットの特定形状を簡単に抽出できない場合、既知のマーカーに関する情報や白線の消失点に関する情報を取得することができない場合等でも、車載カメラの位置ずれに関する判定を適切に行うことが可能である。

次に、前述の検出処理及び判定処理について具体例を挙げて説明する。

（２−１．第１の具体例）
以下に説明する検出処理及び判定処理によって、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知することができる。

図５は、車両と特徴点との位置関係を示す模式図である。図５に示すように、判定開始タイミングを検出した時点で中央位置Ｌ０に停止していた車両７は、例えば、中央位置Ｌ０→前進移動位置Ｌ１→中央位置Ｌ０→左移動位置Ｌ２→中央位置Ｌ０→右移動位置Ｌ３の順番で、前進移動位置Ｌ１、左移動位置Ｌ２、及び右移動位置Ｌ３の３箇所に移動する。そして、前進移動位置Ｌ１、左移動位置Ｌ２、及び右移動位置Ｌ３それぞれで特徴点Ｆ１を含む撮影画像を撮影する。前進移動位置Ｌ１で撮影された撮影画像において、特徴点Ｆ１は撮影領域を左右に均等分割する中心線ＣＬ１付近に存在する（図６（ａ）及び図７（ａ）参照）。なお、特徴点Ｆ１を見失わないように、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ１を検出した後、車両７の移動中も特徴点Ｆ１を追跡する。

フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向のいずれにもずれていない場合、例えば、前進移動位置Ｌ１、左移動位置Ｌ２、及び右移動位置Ｌ３それぞれでの撮影画像は図６（ａ）〜（ｃ）となる。その結果、フロントカメラ２１が撮影領域の水平方向左側に移動するように車両７が移動したときの特徴点Ｆ１のオプティカルフローＯＦ１と、フロントカメラ２１が撮影領域の水平方向右側に移動するように車両７が移動したときの特徴点Ｆ１のオプティカルフローＯＦ２との関係は、車両７の左右対称移動に応じて図６（ｄ）に示すように略左右対称になる。

一方、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれている場合、例えば、前進移動位置Ｌ１、左移動位置Ｌ２、及び右移動位置Ｌ３それぞれでの撮影画像は図７（ａ）〜（ｃ）となる。その結果、フロントカメラ２１が撮影領域の水平方向左側に移動するように車両７が移動したときの特徴点Ｆ１のオプティカルフローＯＦ１と、フロントカメラ２１が撮影領域の水平方向右側に移動するように車両７が移動したときの特徴点Ｆ１のオプティカルフローＯＦ２との関係は、車両７が左右対称に移動しているにもかかわらず、図７（ｄ）に示すように左右非対称になる。

図６（ｄ）と図７（ｄ）の比較から明らかなように、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを、車両７が左右方向に移動したときの特徴点Ｆ１の動きから判定することができる。

なお、中心線ＣＬ１付近に無い特徴点はカメラずれがあってもなくても動きは非対称になるが、カメラずれのある場合とカメラずれのない場合とで特徴点の動きが異なることから、カメラずれの有無を判定することは可能である。

中心線ＣＬ１付近に無い特徴点の動きからフロントカメラ２１の位置ずれの有無を判定する場合は、カメラずれのない場合の特徴点の動きを正常値（フロントカメラ２１の初期位置に関するデータ）として記憶部１２が記憶しておき、車両７が左右方向に移動したときの特徴点の動きが記憶部１２に記憶された正常値と異なっていればフロントカメラ２１の位置ずれが生じていると判定すればよい。この中心線ＣＬ１付近に無い特徴点の動きからフロントカメラ２１の位置ずれの有無を判定する手法と比較すると、上述した中心線ＣＬ１付近にある特徴点Ｆ１を用いてフロントカメラ２１の位置ずれの有無を判定する手法は、正常値を記憶していなくてもフロントカメラ２１の位置ずれの有無を判定できるというメリットを有している。

なお、バックカメラ２２の場合は、前進移動位置Ｌ１、左移動位置Ｌ２、及び右移動位置Ｌ３それぞれで特徴点Ｆ２を含む撮影画像を撮影して同様の処理を行えばよい。

前述した例とは異なり、フロントカメラ２１の場合は、図５に示す中央位置Ｌ０、中央左寄り位置Ｌ４、及び中央右寄り位置Ｌ５それぞれで特徴点Ｆ１を含む撮影画像を撮影してもよく、図５に示す後進位置Ｌ６、後方左寄り位置Ｌ７、及び後方右寄り位置Ｌ８それぞれで特徴点Ｆ１を含む撮影画像を撮影してもよい。また、バックカメラ２２の場合は、図５に示す中央位置Ｌ０、中央左寄り位置Ｌ４、及び中央右寄り位置Ｌ５それぞれで特徴点Ｆ２を含む撮影画像を撮影してもよく、図５に示す後進位置Ｌ６、後方左寄り位置Ｌ７、及び後方右寄り位置Ｌ８それぞれで特徴点Ｆ２を含む撮影画像を撮影してもよい。

また、以下に説明する検出処理及び判定処理によっても、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知することができる。

図５に示すように、判定開始タイミングを検出した時点で中央位置Ｌ０に停止していた車両７は、例えば、中央位置Ｌ０→前進移動位置Ｌ１→後進移動位置Ｌ６の順番で、前進移動位置Ｌ１及び後進移動位置Ｌ６の２箇所に移動する。そして、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれで特徴点Ｆ１を含む撮影画像を撮影する。なお、特徴点Ｆ１を見失わないように、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ１を検出した後、車両７の移動中も特徴点Ｆ１を追跡する。

フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向のいずれにもずれていない場合、例えば、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれでの撮影画像は図８（ａ）〜（ｃ）となる。その結果、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が移動したときの、特徴点Ｆ１のオプティカルフローＯＦ３は、図８（ｄ）に示すように中心線ＣＬ１上に略位置している。

一方、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれている場合、例えば、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれでの撮影画像は図９（ａ）〜（ｃ）となる。その結果、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が移動したときの、特徴点Ｆ１のオプティカルフローＯＦ３は、図９（ｄ）に示すように中心線ＣＬ１からずれている。

図８（ｄ）と図９（ｄ）の比較から明らかなように、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを、車両７が前後方向に移動したときの特徴点Ｆ１の動きから判定することができる。

なお、バックカメラ２２の場合は、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれで特徴点Ｆ２を含む撮影画像を撮影して同様の処理を行えばよい。

前述した例とは異なり、前進移動位置Ｌ１及び後進移動位置Ｌ６のうちのいずれか１箇所にのみ移動してもよい。

以上、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知する手法について２つの例を説明した。ここで、２つの例を組み合わせて実施する場合の例について説明する。後述する第１のモードは車両７の移動容易性を重視したモードであり、後述する第２のモードは判定精度を重視したモードである。検出部１１１は、第１のモードと第２のモードを択一的に選択することができる。

第１モードでは、検出部１１１は、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が移動したときのみの特徴点の動きを検出する。これにより、車両７の移動量を低減することができるとともに、車両７の移動が直進のみですむため車両７の移動制御の容易性及び正確性が向上する。

一方、第２のモードでは、検出部１１１は、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が移動したときの特徴点の動き、及び、フロントカメラ２１が撮影領域の水平方向に移動するように車両７が移動したときの特徴点の動きを検出する。そして、いずれかの特徴点の動きにおいてフロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれていることが検知された場合には、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているとずれ判定部１１２が判定すればよい。これにより、フロントカメラ２１の位置ずれが見過ごされることを低減できる。その結果、フロントカメラ２１の位置ずれに関する判定精度が向上する。

バックカメラ２２の場合も、上述したフロントカメラ２１の場合と同様の組み合わせ方での実施が可能である。

（２−２．第２の具体例）
以下に説明する検出処理及び判定処理によって、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知することができる。

図５に示すように、判定開始タイミングを検出した時点で中央位置Ｌ０に停止していた車両７は、例えば、中央位置Ｌ０→前進移動位置Ｌ１→後進移動位置Ｌ６の順番で、前進移動位置Ｌ１及び後進移動位置Ｌ６の２箇所に移動する。そして、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれで特徴点Ｆ３を含む撮影画像を撮影する。中央位置Ｌ０で撮影された撮影画像において、特徴点Ｆ３は撮影領域を左右に均等分割する中心線ＣＬ１付近に存在する（図１０（ｂ）及び図１１（ｂ）参照）。なお、特徴点Ｆ３を見失わないように、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ３を検出した後、車両７の移動中も特徴点Ｆ３を追跡する。

左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向のいずれにもずれていない場合、例えば、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれでの撮影画像は図１０（ａ）〜（ｃ）となる。その結果、左サイドカメラ２３が撮影領域の水平方向右側に移動するように車両７が移動したときの特徴点Ｆ３のオプティカルフローＯＦ４と、左サイドカメラ２３が撮影領域の水平方向左側に移動するように車両７が移動したときの特徴点Ｆ３のオプティカルフローＯＦ５との関係は、車両７の前後対称移動に応じて図１０（ｄ）に示すように略左右対称になる。

一方、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれている場合、例えば、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれでの撮影画像は図１１（ａ）〜（ｃ）となる。その結果、左サイドカメラ２３が撮影領域の水平方向右側に移動するように車両７が移動したときの特徴点Ｆ３のオプティカルフローＯＦ４と、左サイドカメラ２３が撮影領域の水平方向左側に移動するように車両７が移動したときの特徴点Ｆ３のオプティカルフローＯＦ５との関係は、車両７が前後対称に移動しているにもかかわらず、図１１（ｄ）に示すように左右非対称になる。

図１０（ｄ）と図１１（ｄ）の比較から明らかなように、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを、車両７が前後方向に移動したときの特徴点Ｆ３の動きから判定することができる。

なお、中心線ＣＬ１付近に無い特徴点はカメラずれがあってもなくても動きは非対称になるが、カメラずれのある場合とカメラずれのない場合とで特徴点の動きが異なることから、カメラずれの有無を判定することは可能である。

中心線ＣＬ１付近に無い特徴点の動きから左サイドカメラ２３の位置ずれの有無を判定する場合は、カメラずれのない場合の特徴点の動きを正常値（左サイドカメラ２３の初期位置に関するデータ）として記憶部１２が記憶しておき、車両７が前後方向に移動したときの特徴点の動きが記憶部１２に記憶された正常値と異なっていれば左サイドカメラ２３の位置ずれが生じていると判定すればよい。この中心線ＣＬ１付近に無い特徴点の動きから左サイドカメラ２３の位置ずれの有無を判定する手法と比較すると、上述した中心線ＣＬ１付近にある特徴点Ｆ３を用いて左サイドカメラ２３の位置ずれの有無を判定する手法は、正常値を記憶していなくても左サイドカメラ２３の位置ずれの有無を判定できるというメリットを有している。

なお、右サイドカメラ２４の場合は、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれで特徴点Ｆ４を含む撮影画像を撮影して同様の処理を行えばよい。

また、以下に説明する検出処理及び判定処理によっても、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知することができる。

図５に示すように、判定開始タイミングを検出した時点で中央位置Ｌ０に停止していた車両７は、例えば、中央位置Ｌ０→前進移動位置Ｌ１→中央左寄り位置Ｌ４→前進移動位置Ｌ１→中央右寄り位置Ｌ５の順番で、中央左寄り位置Ｌ４及び中央右寄り位置Ｌ５の２箇所に移動する。そして、中央左寄り位置Ｌ４、中央位置Ｌ０、及び中央右寄り位置Ｌ５それぞれで特徴点Ｆ３を含む撮影画像を撮影する。なお、特徴点Ｆ３を見失わないように、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ３を検出した後、車両７の移動中も特徴点Ｆ３を追跡する。

左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向のいずれにもずれていない場合、例えば、中央左寄り位置Ｌ４、中央位置Ｌ０、及び中央右寄り位置Ｌ５それぞれでの撮影画像は図１２（ａ）〜（ｃ）となる。その結果、左サイドカメラ２３が撮影領域の奥行き方向に移動するように車両７が移動したときの、特徴点Ｆ３のオプティカルフローＯＦ６は、図１２（ｄ）に示すように中心線ＣＬ１上に略位置している。

一方、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれている場合、例えば、中央左寄り位置Ｌ４、中央位置Ｌ０、及び中央右寄り位置Ｌ５それぞれでの撮影画像は図１３（ａ）〜（ｃ）となる。その結果、左サイドカメラ２３が撮影領域の奥行き方向に移動するように車両７が移動したときの、特徴点Ｆ３のオプティカルフローＯＦ６は、図１３（ｄ）に示すように中心線ＣＬ１からずれている。

図１２（ｄ）と図１３（ｄ）の比較から明らかなように、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを、車両７が左右方向に移動したときの特徴点Ｆ３の動きから判定することができる。

なお、右サイドカメラ２４の場合は、中央左寄り位置Ｌ４、中央位置Ｌ０、及び中央右寄り位置Ｌ５それぞれで特徴点Ｆ４を含む撮影画像を撮影して同様の処理を行えばよい。

前述した例とは異なり、中央左寄り位置Ｌ４及び中央右寄り位置Ｌ５のうちのいずれか１箇所にのみ移動してもよい。

以上、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知する手法について２つの例を説明した。ここで、２つの例を組み合わせて実施する場合の例について説明する。後述する第１のモードは車両７の移動容易性を重視したモードであり、後述する第２のモードは判定精度を重視したモードである。検出部１１１は、第１のモードと第２のモードを択一的に選択することができる。

第１モードでは、検出部１１１は、左サイドカメラ２３が撮影領域の水平方向に移動するように車両７が移動したときのみの特徴点の動きを検出する。これにより、車両７の移動量を低減することができるとともに、車両７の移動が直進のみですむため車両７の移動制御の容易性及び正確性が向上する。

一方、第２のモードでは、検出部１１１は、左サイドカメラ２３が撮影領域の水平方向に移動するように車両７が移動したときの特徴点の動き、及び、左サイドカメラ２３が撮影領域の奥行き方向に移動するように車両７が移動したときの特徴点の動きを検出する。そして、いずれかの特徴点の動きにおいて左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれていることが検知された場合には、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているとずれ判定部１１２が判定すればよい。これにより、左サイドカメラ２３の位置ずれが見過ごされることを低減できる。その結果、左サイドカメラ２３の位置ずれに関する判定精度が向上する。

右サイドカメラ２４の場合も、上述した左サイドカメラ２３の場合と同様の組み合わせ方での実施が可能である。

（２−３．第３具体例）
以下に説明する検出処理及び判定処理によって、車載カメラ２１〜２４がずれているか否かを検知することができる。なお、上述のように、４つの車載カメラ２１〜２４のそれぞれに対してずれているか否かが検知される。

図１４は、車両と特徴点との位置関係を示す模式図である。特徴点Ｆ１と特徴点Ｆ１’とは、互いにフロントカメラ２１及びバックカメラ２２の撮影領域の水平方向にずれて存在している特徴点である。特徴点Ｆ２と特徴点Ｆ２’とは、互いにフロントカメラ２１及びバックカメラ２２の撮影領域の水平方向にずれて存在している特徴点である。特徴点Ｆ３と特徴点Ｆ３’とは、互いに左サイドカメラ２３及び右サイドカメラ２４の撮影領域の水平方向にずれて存在している特徴点である。特徴点Ｆ４と特徴点Ｆ４’とは、互いに左サイドカメラ２３及び右サイドカメラ２４の撮影領域の水平方向にずれて存在している特徴点である。

検出部１１１が、車載カメラ２１〜２４が撮影領域の奥行き方向に移動するように車両７が移動したときの、撮影領域の水平方向にずれて存在する複数の特徴点の動きを検出する。そして、ずれ判定部１１２が、検出部１１１の検出結果に基づいて複数の特徴点の消失点を検出し、検出した前記消失点の位置に基づいて前記車載カメラの位置ずれに関する判定を行う。例えば、フロントカメラ２１の場合、図１５に示すように、特徴点Ｆ１のオプティカルフローＯＦ３の延長線と特徴点Ｆ１’のオプティカルフローＯＦ７の延長線との交点である、特徴点Ｆ１及びＦ１’の消失点Ｄ１を検出すればよい。フロントカメラ２１のＰＡＮ方向、ＲＯＬＬ方向、及びＴＩＬＴ方向のいずれにもずれていない場合の消失点Ｄ１の位置が把握できるデータを、フロントカメラ２１の初期位置に関するデータとして記憶部１１２が記憶しておくことで、フロントカメラ２１がＰＡＮ方向、ＲＯＬＬ方向、及びＴＩＬＴ方向の少なくとも一つの方向にずれているか否かを判定することができる。一例としては、消失点が画面の中心線から左または右方向に大きくずれているときは、少なくともＰＡＮ方向、ＲＯＬＬ方向にズレが発生していると判断できる。また、画面内における消失点の垂直方向の高さが、正常時の位置から大きくずれているときは少なくともＴＩＬＴ方向にずれが発生していると判断できる。

なお、検出部１１１が各撮影画像において特徴点を１つしか検出できない場合であっても、車両７の移動を工夫することによって検出部１１１は特徴点の消失点Ｄ１を検出することができる。例えば、図５に示すように、判定開始タイミングを検出した時点で中央位置Ｌ０に停止していた車両７は、例えば、中央位置Ｌ０→左移動位置Ｌ２→後方左寄り位置Ｌ７→右移動位置Ｌ３→後方右寄り位置Ｌ８の順番で移動する。そして、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ１を検出した後、車両７の移動中も特徴点Ｆ１を追跡する。また、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ４を検出した後、車両７の移動中も特徴点Ｆ４を追跡する。

図１６に示すように、検出部１１１は、単一の特徴点Ｆ１について、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が左移動位置Ｌ２から移動したときの特徴点Ｆ１の動きを検出し、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が右移動位置Ｌ３から移動したときの特徴点Ｆ１の動きを検出することによって、特徴点Ｆ１のオプティカルフローＯＦ８Ｌの延長線と特徴点Ｆ１のオプティカルフローＯＦ８Ｒの延長線との交点である、特徴点Ｆ１の消失点Ｄ１を検出することができる。なお、図１６中において符号Ｆ１の隣に車両７の位置を示す符号をかっこ書きで記載している。

図１７に示すように、検出部１１１は、単一の特徴点Ｆ４について、右サイドカメラ２４が撮影領域の奥行き方向に移動するように車両７が右移動位置Ｌ３から移動したときの特徴点Ｆ４の動きを検出し、右サイドカメラ２４が撮影領域の奥行き方向に移動するように車両７が後方右寄り位置Ｌ８から移動したときの特徴点Ｆ４の動きを検出することによって、特徴点Ｆ４のオプティカルフローＯＦ９Ｌの延長線と特徴点Ｆ４のオプティカルフローＯＦ９Ｒの延長線との交点である、特徴点Ｆ４の消失点Ｄ１を検出することができる。なお、図１７中において符号Ｆ４の隣に車両７の位置を示す符号をかっこ書きで記載している。

また、以下に説明する検出処理及び判定処理によっても、車載カメラ２１〜２４がＴＩＬＴ方向にずれているか否かを検知することができる。マイコン１１が、車両７が所定の移動をしたときの車両７の速度情報をセンサ部３から取得する不図示の取得部を備える。そして、ずれ判定部１１２は、検出部１１１の検出結果、より具体的には特徴点のオプティカルフローに基づいて車両７の速度を推定し、推定した車両７の速度と、前述の取得部によって取得された車両７の速度情報との比較結果に基づいて車載カメラ２１〜２４の位置ずれに関する判定を行う。

ずれ判定部１１２は、推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度との大小関係によって、車載カメラ２１〜２４が下方に傾いているかそれとも上方に傾いているかを検知することができる。推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度より遅い場合、ずれ判定部１１２は、車載カメラ２１〜２４が下方に傾いていることを検知する。逆に、推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度より速い場合、ずれ判定部１１２は、車載カメラ２１〜２４が上方に傾いていることを検知する。推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度と一致している場合、ずれ判定部１１２は、車載カメラ２１〜２４にＴＩＬＴ方向の位置ずれが発生していないことを検知する。ここで、計算誤差等を考慮し、推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度との差が所定値未満である場合には、推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度とが一致していなくても、ずれ判定部１１２は、車載カメラ２１〜２４にＴＩＬＴ方向の位置ずれが発生していないことを検知するようにしてもよい。

なお、車両７が所定の移動をしている期間の全てにおいて、車両７の車速が一定となるわけではないので、車両７が所定の移動をしている期間の中で車両７の車速が一定となっている区間を抽出し、その抽出した区間で上記の位置ずれ判定を行うことが好ましい。

＜３．変形例等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

以上に示した実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的にマイコンの各種の機能が実現されていると説明したが、これらの機能のうちの少なくとも一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの少なくとも一部は、ソフトウェア的に実現されてもよい。

また、図５及び図１４においては、中央位置Ｌ０−前進移動位置Ｌ１間の距離と中央位置Ｌ０−後進移動位置Ｌ６間の距離とを等しくしているが、各距離間の比率が把握出来ていれば位置ずれの判定を正しく行うことができるので、中央位置Ｌ０−前進移動位置Ｌ１間の距離と中央位置Ｌ０−後進移動位置Ｌ６間の距離とは異なっていてもよい。同様に、図５及び図１４においては、中央位置Ｌ０−中央左寄り位置Ｌ４間の距離と中央位置Ｌ０−中央右寄り位置Ｌ５間の距離とを等しくしているが、各距離間の比率が把握出来ていれば位置ずれの判定を正しく行うことができるので、中央位置Ｌ０−中央左寄り位置Ｌ４間の距離と中央位置Ｌ０−中央右寄り位置Ｌ５間の距離とは異なっていてもよい。

１ 画像処理装置
７ 車両
２１ フロントカメラ（車載カメラ）
２２ バックカメラ（車載カメラ）
２３ 左サイドカメラ（車載カメラ）
２４ 右サイドカメラ（車載カメラ）
４１ 自動運転制御部
１１１ 検出部
１１２ ずれ判定部

Claims (9)

1. 車載カメラで撮影された撮影画像を処理する画像処理装置であって、
   前記車載カメラを搭載する車両が所定の移動をしたときの前記撮影画像中の特徴点の動きを検出する検出部と、
   前記検出部の検出結果に基づいて前記車載カメラの位置ずれに関する判定を行うずれ判定部と、
   を備える、画像処理装置。
2. 前記検出部は、前記車載カメラが撮影領域の水平方向または奥行き方向に移動するように前記車両が移動したときの、撮像領域を左右に均等分割する中心線付近にある、少なくとも一つの前記特徴点の動きを検出する、請求項１に記載の画像処理装置。
3. 前記車載カメラは前記車両の前方を撮影するカメラ又は前記車両の後方を撮影するカメラであって、
   前記検出部は、
   第１のモードにおいて、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときのみの前記特徴点の動きを検出し、
   第２のモードにおいて、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの前記特徴点の動き、及び、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときの前記特徴点の動きを検出する、請求項１又は請求項２に記載の画像処理装置。
4. 前記車載カメラは前記車両の側方を撮影するカメラであって、
   前記検出部は、
   第１のモードにおいて、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときのみの前記特徴点の動きを検出し、
   第２のモードにおいて、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときの前記特徴点の動き、及び、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの前記特徴点の動きを検出する、請求項１又は請求項２に記載の画像処理装置。
5. 前記検出部は、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの、前記撮影領域の水平方向にずれて存在する複数の前記特徴点の動きを検出し、
   前記ずれ判定部は、前記検出部の検出結果に基づいて複数の前記特徴点の消失点を検出し、検出した前記消失点の位置に基づいて前記車載カメラの位置ずれに関する判定を行う、請求項１に記載の画像処理装置。
6. 前記検出部は、
   単一の前記特徴点について、
   前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が第１の位置から移動したときの前記特徴点の動きを検出し、
   前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が第２の位置から移動したときの前記特徴点の動きを検出し、
   前記第１の位置と前記第２の位置とは前記車載カメラの撮影領域の水平方向にずれており、
   前記ずれ判定部は、前記検出部の検出結果に基づいて単一の前記特徴点の消失点を検出し、検出した前記消失点の位置に基づいて前記車載カメラの位置ずれに関する判定を行う
   、請求項１に記載の画像処理装置。
7. 前記車両が前記所定の移動をしたときの前記車両の速度情報を取得する取得部を備え、
   前記ずれ判定部は、前記検出部の検出結果に基づいて前記車両の速度を推定し、推定した前記車両の速度と、前記取得部によって取得された前記車両の速度情報との比較結果に基づいて前記車載カメラの位置ずれに関する判定を行う、請求項１に記載の画像処理装置。
8. 請求項１〜７のいずれか一項に記載の画像処理装置と、
   ドライバーの運転操作によらずに前記車両に前記所定の移動を行わせる自動運転制御部と、を備える、カメラずれ判定システム。
9. 車載カメラで撮影された撮影画像を処理する画像処理方法であって、
   前記車載カメラを搭載する車両が所定の移動をしたときの前記撮影画像中の特徴点の動きを検出する検出工程と、
   前記検出工程の検出結果に基づいて前記車載カメラの位置ずれに関する判定を行うずれ判定工程と、
   を備える、画像処理方法。