JP7320459B2 - 画像処理装置、撮像装置、路側機、および画像処理方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置、路側機、および画像処理方法に関するものである。

車と多様な情報を通信する路側機を路上に設置することが検討されている。路側機は、例えば、見通しの悪い交差点に向かって来る車両および人などの測定対象をカメラで撮像し、その位置などを情報として、測定対象とは別の道路から交差点に向かう車両および人に報知するために用いられることが検討されている。

カメラで撮像した画像に基づいて測定対象の位置を算出するためには、カメラのキャリブレーションを行い、カメラのワールド座標系の位置および姿勢に対応する較正パラメータを算出する必要がある。路側機のカメラのキャリブレーションのために、目印を搭載した計測車両をカメラで撮影して画像中の目印の位置を取得し、計測車両の位置をＧＰＳ受信部が受信する情報によりワールド座標系における目印の位置を取得することが提案されている（特許文献１参照）。

特開２０１２－０１００３６号公報

しかし、計測車両を用いたカメラのキャリブレーションは、作業が煩雑であった。

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、カメラのキャリブレーションを簡潔に行う画像処理装置、撮像装置、路側機、および画像処理方法を提供することにある。

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
撮像部から撮像画像を取得する画像インターフェースと、
前記撮像部に撮像される撮像画像の路面上または床面上の複数の特定の特徴点それぞれのワールド座標系の位置と、前記撮像部に任意の時期に撮像される該複数の特定の特徴点それぞれの撮像画像における位置を基準位置として記憶するメモリと、
前記撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点と前記ワールド座標系の位置とに基づいて前記撮像部の位置および姿勢を較正する較正パラメータを算出可能なコントローラと、を備え、
前記コントローラは、前記任意の時期とは異なる時期に前記撮像部に撮像される撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点の中の所定の割合以上の該撮像画像における位置が前記基準位置から変化している場合、前記較正パラメータを再算出する。

また、第２の観点による撮像装置は、
撮像により撮像画像を生成する撮像部と、
前記撮像部に撮像される撮像画像の路面上または床面上における複数の特定の特徴点それぞれのワールド座標系の位置と、前記撮像部に任意の時期に撮像される該複数の特定の特徴点それぞれの撮像画像における位置を基準位置として記憶するメモリと、
前記撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点と前記ワールド座標系の位置とに基づいて前記撮像部の位置および姿勢を較正する較正パラメータを算出可能なコントローラと、を備え、
前記コントローラは、前記任意の時期とは異なる時期に前記撮像部に撮像される撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点の中の所定の割合以上の該撮像画像における位置が前記基準位置から変化している場合、前記較正パラメータを再算出する。

また、第３の観点による路側機は、
撮像により撮像画像を生成する撮像部と、
前記撮像部に撮像される撮像画像の路面上または床面上における複数の特定の特徴点それぞれのワールド座標系の位置と、前記撮像部に任意の時期に撮像される該複数の特定の特徴点それぞれの撮像画像における位置を基準位置として記憶するメモリと、
前記撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点と前記ワールド座標系の位置とに基づいて前記撮像部の位置および姿勢を較正する較正パラメータを算出可能なコントローラと、を備え、
前記コントローラは、前記任意の時期とは異なる時期に前記撮像部に撮像される撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点の中の所定の割合以上の該撮像画像における位置が前記基準位置から変化している場合、前記較正パラメータを再算出する。

また、第４の観点による画像処理方法は、
画像処理装置による画像処理方法であって、
前記画像処理装置は、
撮像部に撮像される撮像画像の路面上または床面上の複数の特定の特徴点それぞれのワールド座標系の位置と、前記撮像部に任意の時期に撮像される該複数の特定の特徴点それぞれの撮像画像における位置を基準位置として記憶し、
前記任意の時期とは異なる時期に前記撮像部に撮像される撮像画像における前記複数の特定の特徴点を検出し、
当該複数の特定の特徴点の中の所定の割合以上の該撮像画像における位置が前記基準位置から変化している場合、該複数の特定の特徴点と前記ワールド座標系の位置とに基づいて前記撮像部の位置および姿勢を較正する較正パラメータを算出する。

上記のように構成された本開示に係る画像処理装置、撮像装置、路側機、および画像処理方法によれば、カメラのキャリブレーションが簡潔に行われ得る。

本実施形態に係る画像処理装置を含む路側機の概略構成を示すブロック図である。 図１の画像処理装置の概略構成を示すブロック図である。 図２のコントローラが実行する手動キャリブレーション処理を説明するためのフローチャートである。 図２のコントローラが実行する自動キャリブレーション処理を説明するためのフローチャートである。

以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。

図１に示すように、本開示の一実施形態に係る画像処理装置１０を含む路側機１１は、撮像部１２および画像処理装置１０を含む撮像装置１３、メモリ１４、通信部１５、ならびにコントローラ１６を含んで構成される。

撮像部１２は、路側機１１周辺の光景を撮像して、画像を生成する。画像処理装置１０は、撮像部１２が撮像した画像に基づいて、路側機１１の周囲における測定対象の存否を判別する。本実施形態においては、測定対象は、例えば、人間、箱型車両、自動二輪車、および自転車である。画像処理装置１０は、測定対象が存在する場合、測定対象の実空間における存在位置、言換えるとワールド座標系の位置を算出する。メモリ１４は、路側機１１の位置を記憶する。通信部１５は、有線または無線により外部機器と通信する。外部機器は、例えば、路側機１１に近接する車両において利用されるナビゲーション装置などの端末装置、または走行中の車両の現在位置を認識して当該車両に交通情報を送信するサーバ装置などである。外部機器は、撮像部１２の手動較正用の端末装置であってよい。コントローラ１６は、撮像した画像に測定対象が含まれる場合、測定対象の実空間における存在位置を、路側機１１の位置とともに、測定対象の位置をユーザに報知する外部機器に送信するよう通信部１５を制御する。

以下に、撮像部１２および画像処理装置１０の詳細について説明する。

撮像部１２は、例えば、信号装置、電柱、および街灯などの、屋外において路面を含む光景を撮像可能な高さを有する構造物に固定される。撮像部１２が固定される位置および姿勢は、事前に定められてよく、固定時に定められてよい。撮像部１２の位置および姿勢はそれぞれ、ワールド座標系において、基準となる位置に対する撮像部１２の位置、および、基準となる方向に対する撮像部１２の傾きを意味する。本開示において「ワールド座標系」は、撮像部１２の外部の三次元空間に基づいて設定された座標系を意味する。撮像部１２は画角内の被写体を撮像して、被写体に相当する画像信号を生成する。

図２に示すように、画像処理装置１０は、画像インターフェース１７、情報インターフェース１８、メモリ１９、およびコントローラ２０を含んで構成される。

画像インターフェース１７は、撮像部１２から撮像画像を取得する。情報インターフェース１８は、路側機１１のコントローラ１６と通信する。

メモリ１９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１９は、コントローラ２０を機能させる多様なプログラム、およびコントローラ２０が用いる多様な情報を記憶する。

メモリ１９は、複数の特定の特徴点それぞれのワールド座標系の位置を記憶する。特定の特徴点は、任意の構造物それぞれに固定された撮像部１２が撮像する撮像画像内で、コントローラ２０が検出可能な点である。また、特定の特徴点は、実空間において路面上または床面上において継続的に同じ場所に位置する路面標示の角および構造物の下端などに撮像画像において対応する点である。路面標示の角は、例えば、横断歩道の四隅および白線の角である。構造物の下端は、例えば、自動販売機の角である。特定の特徴点のワールド座標系の位置は、後述する、手動較正用の端末装置を用いることにより、メモリ１９に格納される。また、メモリ１９は、基準位置を記憶する。基準位置は、撮像部１２に任意の時期に撮像される当該複数の特定の特徴点それぞれの撮像画像における位置である。

メモリ１９は、２次元の画像座標系からの、ワールド座標系への座標の変換式または変換表を記憶してよい。画像座標系は、撮像部１２が撮像した画像における縦方向および横方向を軸としてよい。ワールド座標系は、実空間の鉛直方向と、および水平面に平行且つ互いに垂直な２方向とを軸としてよい。変換式または変換表は、撮像部１２の位置および姿勢を較正する較正パラメータによって較正されてよい。変換式または変換表は、撮像画像における路面上または床面上の物体の位置座標の、画像座標系からワールド座標系への座標変換に用いられる。

コントローラ２０は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。コントローラ２０は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

コントローラ２０は、情報インターフェース１８および通信部１５を介して、手動較正用の端末装置から手動キャリブレーションの要求を取得するとき、以下に説明するように、手動キャリブレーションを実行する。

コントローラ２０は、手動キャリブレーションの実行において、複数の特定の特徴点それぞれのワールド座標系の位置の取得、当該複数の特定の特徴点それぞれの撮像画像における位置の取得、および較正パラメータの算出を行う。特定される特徴点の数はキャリブレーションの実行に必要な数以上であればよく、５以上であることが好ましく、１０以上であることがより好ましく、２０以上であることがさらに好ましい。

コントローラ２０は、特徴点のワールド座標系の位置の取得を、例えば、ＧＰＳ受信機または手動較正用の端末装置から、情報インターフェース１８を介して取得する。コントローラ２０は、取得した特徴点のワールド座標系の位置をメモリ１９に格納する。

ＧＰＳ受信機から位置を取得するために、例えば、ＧＰＳ受信機が、撮像部１２の画角範囲内の路面上の路面標示の角、または床面上の自動販売機の下端の角などのように、コントローラ２０が撮像画像から特定しやすいと考えられる位置に載置される。ＧＰＳ受信機は数個の衛星から受信する信号に基づいて、水平面におけるＧＰＳ受信機の位置を算出する。コントローラ２０は、ＧＰＳ受信機の載置位置をＧＰＳ受信機から直接的にまたは手動較正用の端末装置を介して受信するとき、路面または床面の高さを高さ方向の座標として加えて、特定の特徴点のワールド座標系の位置として取得する。ＧＰＳ受信機は複数の位置に載置されることがユーザに求められているので、複数の特定の特徴点のワールド座標系の位置がコントローラ２０に取得される。

または、手動較正用の端末装置から位置を取得するために、例えば、当該端末装置においてユーザの操作により、当該端末装置のディスプレイに、撮像部１２を固定する構造物の周辺の航空写真が重畳されている地図または測量図が表示される。ユーザの操作により、地図または測量図の中から、撮像部１２の画角範囲内の路面上の路面標示の角、または床面上の自動販売機の角などのように、コントローラ２０が撮像画像から特定しやすいと考えられる路面上または床面上の複数の位置が指定される。コントローラ２０は、手動較正用の端末装置から、航空写真内の指定された複数の位置を受信するとき、路面または床面の高さを高さ方向の座標として加えて、複数の特定の特徴点のワールド座標系の位置として取得する。

コントローラ２０は、複数の特定の特徴点それぞれの撮像画像における位置の取得のために、撮像部１２から取得する撮像画像を、手動較正用の端末装置に送信するように情報インターフェース１８を制御する。コントローラ２０は、送信した撮像画像に対して、ワールド座標系の位置の各特徴点に対応づけられた撮像画像における位置を、情報インターフェース１８を介して取得する。なお、較正用の端末装置には、撮像画像と、特徴点のワールド座標系の位置に基づき水平面における特徴点の位置を示す地図とが表示される。ユーザには、当該地図における各特徴点の位置を見ながら、撮像画像内で、当該特徴点の位置を指定する入力が求められている。コントローラ２０は、取得した特徴点の撮像画像における位置をメモリ１９に格納する。

コントローラ２０は、較正パラメータの算出において、最初に仮の較正パラメータを算出する。コントローラ２０は、複数の特定の特徴点それぞれの撮像画像における位置と、当該特徴点それぞれの、取得されたワールド座標系の位置とに対して、例えば５点アルゴリズムを実行することにより変換式または変換表を較正するパラメータを、仮の較正パラメータとして算出する。

コントローラ２０は、仮の較正パラメータを用いて較正した変換式または変換表を用いて、特徴点それぞれのワールド座標系の位置を撮像画像における位置に変換する。コントローラ２０は、変換した撮像画像における位置と、手動較正用の端末装置から取得した、対応する特徴点の撮像画像における位置との間隔を算出する。

コントローラ２０は、算出した間隔が間隔閾値未満である場合、当該間隔に対応する特徴点を、自動キャリブレーションに用いる基準特徴点に一時的に定める。

コントローラ２０は、算出した間隔が間隔閾値以上である場合、撮像画像上に、ワールド座標系から変換した位置、および手動較正用の端末装置から取得した位置を区別可能に示す、例えば、区別可能に異なる特定の色で色付けた２つの点像を重畳する。コントローラ２０は、点像を重畳した撮像画像を手動較正用の端末装置に送信するように、情報インターフェース１８を制御する。

コントローラ２０は、送信した、点像を重畳した撮像画像に対して、当該点像に対応する特徴点の再指定される撮像画像における位置、または当該特徴点の再指定されるワールド座標系の位置のいずれかを取得する。なお、手動較正用の端末装置のユーザには、点像を重畳した撮像画像に基づいて、２つの点像の位置が近づくように、撮像画像における特徴点の位置の再指定、または当該特徴点のワールド座標系の位置の再指定の入力が求められている。

コントローラ２０は、算出した間隔が間隔閾値以上であった特徴点に対して、再指定された撮像画像における位置とメモリ１９に記憶されたワールド座標系の位置との組合せ、またはメモリ１９に記憶された撮像画像における位置と再指定されたワールド座標系の位置との組合せに対して、基準特徴点の撮像画像における位置およびワールド座標系の位置とともに５点アルゴリズムを実行することにより、再び仮の較正パラメータを算出する。

コントローラ２０は、再び、仮の較正パラメータを用いて較正した変換式または変換表を用いて、特徴点のワールド座標系の位置を撮像画像における位置に変換する。コントローラ２０は、変換した撮像画像における位置と、手動較正用の端末装置から取得した、対応する特徴点の撮像画像における位置との間隔を算出する。

コントローラ２０は、仮の較正パラメータの算出、ワールド座標系の位置から撮像画像における位置への変換、および間隔の算出を、基準特徴点の数が個数閾値以上になるまで繰返す。個数閾値は、キャリブレーションを行うのに必要な数以上であればよく、例えば、５以上であることが好ましく、１０以上であることがより好ましく、２０以上であることがさらに好ましい。

コントローラ２０は、基準特徴点の数が基準閾値以上になるときの仮の較正パラメータを、較正パラメータの初期値として確定する。コントローラ２０は、確定した較正パラメータを用いて、メモリ１９の変換式または変換表を較正して、メモリ１９に再格納する。

コントローラ２０は、較正した変換式または変換表を用いて、基準特徴点のワールド座標系の位置を、撮像画像における位置に変換する。コントローラ２０は、変換された撮像画像における位置を、特徴点の基準位置としてメモリ１９に格納する。コントローラ２０は、基準特徴点の特徴量を撮像画像から抽出する。コントローラ２０は、抽出した特徴量をメモリ１９に格納する。

コントローラ２０は、手動キャリブレーションの終了後、言換えると、基準位置の算出に用いた撮像画像を撮像した任意の時期とは異なる時期に撮像された撮像画像を撮像部１２から新たに取得するとき、自動キャリブレーションを実行可能である。自動キャリブレーションは、１フレームの撮像画像を取得するたびに行われてよく、所定のフレーム周期で行われてよく、または定期的に行われてよい。本実施形態においては、所定のフレーム周期で自動キャリブレーションは行われる。

コントローラ２０は、自動キャリブレーションのために、メモリ１９に記憶されている特徴量に基づいて、新たに取得した撮像画像の中から複数の基準特徴点を検出する。手動キャリブレーションの実行後、基準特徴点に相当する実空間の地点が車両などの障害物により覆われることがある。そのような場合、撮像画像から基準特徴点が検出できないことがある。コントローラ２０は、検出した基準特徴点の数が実行基準範囲の範囲外である場合、当該撮像画像に対して、以後の較正パラメータの算出を停止する。実行基準範囲は、較正パラメータの算出に必要な最小限の特徴点の数、例えば５以上の範囲であってよく、または、メモリ１９に記憶されている基準特徴点の数に対する、例えば６割などの所定の割合以上の範囲であってよい。

コントローラ２０は、検出した基準特徴点の数が実行基準範囲内である場合、新たに取得した撮像画像における複数の基準特徴点の位置を検出する。コントローラ２０は、検出した基準特徴点の撮像画像における位置が、メモリ１９に記憶されている基準位置から間隔閾値以上で変化しているか否かを判別する。

コントローラ２０は、撮像画像における位置が基準位置から間隔閾値以上で変化している基準特徴点の数が、検出した基準特徴点の数の所定の割合以上である場合、複数の基準特徴点それぞれの、検出した撮像画像における位置と、メモリ１９に記憶されているワールド座標系の位置とを用いて、較正パラメータを再算出する。所定の割合は、撮像部１２の位置または姿勢が変化していると判別され得る適切な割合であって、例えば、５０％であってよく、好ましくは３０％であってよく、さらに好ましくは２０％であってよい。コントローラ２０は、メモリ１９に記憶しているすべての基準特徴点の一部を新たな撮像画像から検出できない場合、当該すべての基準特徴点の中の一部である、検出された特徴点を用いて、較正パラメータを算出する。コントローラ２０は、撮像画像における位置が基準位置から間隔閾値以上で変化している基準特徴点の数が、検出した基準特徴点の数の所定の割合未満である場合、以後の較正パラメータの算出を行わない。

コントローラ２０は、再算出した較正パラメータを用いてメモリ１９に記憶している変換式または変換表を較正する。コントローラ２０は、較正後の変換式または変換表をメモリ１９に格納する。コントローラ２０は、較正された変換式または変換表を用いて、メモリ１９に記憶されている基準特徴点のワールド座標系の位置を、撮像画像における位置に変換する。コントローラ２０は、変換された撮像画像における位置を新たな基準位置として、メモリ１９に格納する。コントローラ２０は、新たな基準位置を用いて、以後の自動キャリブレーションを行う。

コントローラ２０は、手動キャリブレーション、または、自動キャリブレーションの実行後、路側機１１周辺の測定対象の有無の判別、および測定対象の位置の算出を行う。

コントローラ２０は、撮像部１２から１フレームの撮像画像を取得するとき、測定対象が含まれているか否かを判別する。コントローラ２０は、撮像画像内の測定対象の検出の可否に基づいて、測定対象が含まれているか否かを判別する。コントローラ２０は、例えば、パターンマッチングまたは深層学習など従来公知の検出方法によって検出する。

コントローラ２０は、測定対象を検出すると、測定対象の路面または床面側の下端の位置を検出する。コントローラ２０は、検出した当該位置を、メモリ１９に記憶している変換式または変換表を用いて、ワールド座標系の位置に変換する。コントローラ２０は、測定対象、および、ワールド座標系の位置を外部機器に送信するように、情報インターフェース１８を制御する。

次に、本実施形態においてコントローラ２０が実行する、手動キャリブレーション処理について、図３のフローチャートを用いて説明する。手動キャリブレーション処理は、手動較正用の端末装置から手動キャリブレーションの要求を取得するとき開始する。

ステップＳ１００において、コントローラ２０は、撮像部１２から取得する撮像画像を手動較正用の端末装置に送信するように情報インターフェース１８を制御する。送信後、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、コントローラ２０は、ステップＳ１００において撮像画像を送信した手動較正用の端末装置から、複数の特定の特徴点それぞれの、ワールド座標系の位置および撮像画像における位置を取得しているか否かを判別する。取得していない場合、プロセスはステップＳ１０１に戻る。取得している場合、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、コントローラ２０は、ステップＳ１０１において取得が確認された複数の特定の特徴点それぞれの、ワールド座標系の位置および撮像画像における位置、ならびにステップＳ１０９において取得が確認された特徴点の位置に基づいて、仮の較正パラメータを算出する。算出後、プロセスはステップＳ１０３に進む。

ステップＳ１０３では、コントローラ２０は、ステップＳ１０１において取得が確認された複数の特定の特徴点それぞれのワールド座標系の位置を、ステップＳ１０３において算出した仮の較正パラメータに基づいて、撮像画像における位置に変換する。返還後、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、コントローラ２０は、互いに対応する特徴点の、ステップＳ１０１において取得が確認された撮像画像における位置と、ステップＳ１０３において変換した撮像画像における位置との間隔を、全特徴点に対して算出する。算出後、プロセスはステップＳ１０５に進む。

ステップＳ１０５では、コントローラ２０は、ステップＳ１０４において算出した間隔が間隔閾値未満である特徴点を、基準特定点を一時的に決定する。決定後、プロセスはステップＳ１０６に進む

ステップＳ１０６では、コントローラ２０は、ステップＳ１０５において一時的に決定した基準特定点の数が個数閾値以上であるか否か判別する。個数閾値以上でない場合、プロセスはステップＳ１０７に進む。個数閾値以上である場合、プロセスはステップＳ１１０に進む。

ステップＳ１０７では、コントローラ２０は、ステップＳ１０４において算出した間隔が間隔閾値以上である特徴点、すなわち、ステップＳ１０５において一時的に決定した基準特徴点以外の特徴点に対して、ステップＳ１０１において取得が確認された撮像画像における位置、およびステップＳ１０３において変換された撮像画像における位置それぞれに、区別可能な２つの点像を撮像画像に重畳する。重畳後、プロセスはステップＳ１０８に進む。

ステップＳ１０８では、コントローラ２０は、ステップＳ１０７において点像を重畳した撮像画像を、手動較正用の端末装置に送信するように、情報インターフェース１８を制御する。送信後、プロセスはステップＳ１０９に進む。

ステップＳ１０９では、コントローラ２０は、ステップＳ１０９において撮像画像を送信した手動較正用の端末装置から、複数の特定の特徴点それぞれの、再指定されたワールド座標系の位置および撮像画像における位置を取得しているか否かを判別する。取得していない場合、プロセスはステップＳ１０９に戻る。取得している場合、プロセスはステップＳ１０２に戻る。

ステップＳ１１０では、コントローラ２０は、ステップＳ１０２において算出した仮の較正パラメータを、較正パラメータの初期値として確定する。コントローラ２０は、確定した較正パラメータを用いて、メモリ１９の変換式または変換表を較正して、メモリ１９に再格納する。コントローラ２０は、ステップＳ１０５において一時的に決定した基準特定点を、以後に用いる基準特定点として確定する。確定後、プロセスはステップＳ１１１に進む。

ステップＳ１１１では、コントローラ２０は、ステップＳ１１０において較正した変換式または変換表を用いて、ステップＳ１０１において取得が確認された複数の特定の特徴点それぞれのワールド座標系の位置を、撮像画像における位置に変換することにより基準位置を算出する。コントローラ２０は、算出した基準位置をメモリ１９に格納する。算出後、プロセスはステップＳ１１２に進む。

ステップＳ１１２では、コントローラ２０は、ステップＳ１１０において確定した基準特定点の特徴量を撮像画像から抽出する。コントローラ２０は、抽出した特徴量を基準特徴点ごとに関連付けてメモリ１９に格納する。格納後、手動キャリブレーション処理は終了する。

次に、本実施形態においてコントローラ２０が実行する、自動キャリブレーション処理について、図４のフローチャートを用いて説明する。自動キャリブレーション処理は、手動キャリブレーション処理の終了後、所定のフレーム周期で開始する。

ステップＳ２００において、コントローラ２０は、メモリ１９に格納されている複数の基準特徴点それぞれの特徴量に基づいて、新たに取得した撮像画像から、基準特徴点を検出する。検出後、プロセスはステップＳ２０１に進む。

ステップＳ２０１では、コントローラ２０は、ステップＳ２００において検出できた基準特徴点の数が実行基準範囲内であるか否かを判別する。実行基準範囲内でない場合、自動キャリブレーション処理は終了する。実行基準範囲内である場合、プロセスはステップＳ２０２に進む。

ステップＳ２０２では、コントローラ２０は、基準特徴点の撮像画像における位置を検出する。検出後、プロセスはステップＳ２０３に進む。

ステップＳ２０３では、コントローラ２０は、ステップＳ２０２において検出した撮像画像における位置が、メモリ１９に記憶されている基準位置から間隔閾値以上で変化している基準特徴点の数が、ステップＳ２００において検出された基準特徴点の数の半分以上であるか否かを判別する。半分以上でない場合、自動キャリブレーション処理は終了する。半分以上である場合、プロセスはステップＳ２０４に進む。

ステップＳ２０４では、コントローラ２０は、複数の基準特徴点それぞれの、ステップＳ２０２において検出した撮像画像における位置と、メモリ１９に記憶されているワールド座標系の位置とを用いて、較正パラメータを再算出する。コントローラ２０は、再算出した較正パラメータを用いて、メモリ１９の変換式または変換表を較正して、メモリ１９に再格納する。再算出後、プロセスはステップＳ２０５に進む。

ステップＳ２０５では、コントローラ２０は、ステップＳ２０４において較正した変換式または変換表を用いて、メモリ１９に記憶されているワールド座標系の位置を、撮像画像における位置に変換することにより基準位置を算出する。コントローラ２０は、算出した基準位置をメモリ１９に格納する。算出後、自動キャリブレーション処理は終了する。

以上のような構成の本実施形態の画像処理装置１０は、撮像部１２に任意の時期に撮像される複数の特定の特徴点それぞれの撮像画像における位置を基準位置として記憶するメモリ１９を備え、撮像部１２に撮像される撮像画像における複数の基準特徴点を検出し、当該複数の基準特徴点の中の半分以上の当該撮像画像における位置が基準位置から変化している場合、較正パラメータを再算出する。このような構成により、画像処理装置１０は、路面上の白線の角などのように、継続的にワールド座標系の位置が変わらない点を基準特徴点として定めて基準位置を記憶しておくことにより、キャリブレーションのために撮像部１２の画角内に目印を配置させることなく較正パラメータを算出し得る。また、画像処理装置１０は、撮像部１２の位置または姿勢のずれを基準位置の変化から推定し、当該ずれが大きくなる場合に較正パラメータの算出を行うので、必要なときにキャリブレーションを実行し得る。したがって、画像処理装置１０は、撮像部１２のキャリブレーションを簡潔に実行し得る。

また、本実施形態の画像処理装置１０は、情報インターフェース１８から取得する、撮像画像における複数の特定の特徴点の位置と、ワールド座標系の位置とに基づいて、較正パラメータの初期値を算出する。このような構成により、画像処理装置１０は、手動較正用の端末装置のユーザが指定する、特定の特徴点の、撮像画像における位置とワールド座標系の位置とを、当該端末装置から取得可能である。したがって、画像処理装置１０は、コンピュータによる誤認識の可能性を低減した特徴点の位置を用いて、較正パラメータを算出し得る。それゆえ、画像処理装置１０は、高精度の較正を実施し得る。

また、本実施形態の画像処理装置１０では、ワールド座標系の位置は、特徴点に対応する地点におけるＧＰＳ受信機で受信する信号に基づいて算出される位置を含む。このような構成により、画像処理装置１０は、ワールド座標系の位置のユーザによる指定を不要にする。したがって、画像処理装置１０は、初期キャリブレーションをさらに容易に行わせ得る。

また、本実施形態の画像処理装置１０では、ワールド座標系の位置は、地図または測量図において指定されている位置を含む。このような構成により、画像処理装置１０は、ＧＰＳ受信機の実空間の載置を不要にする。したがって、画像処理装置１０は、初期キャリブレーションのための準備を、ＧＰＳ受信機を載置する方法に比べて低減し得る。

また、本実施形態の画像処理装置１０は、較正パラメータを用いてワールド座標系の位置から変換される複数の基準特徴点の撮像画像における位置を、基準位置として、メモリ１９に格納する。このような構成により、画像処理装置１０は、較正パラメータの再算出を行うための、新たな撮像画像における特徴点の位置との比較対象として、任意の時期の撮像画像において指定される特徴点の位置よりも、適した位置を用いさせ得る。

また、本実施形態の画像処理装置１０は、撮像画像において複数の基準特徴点の一部を検出できない場合、当該複数の基準特徴点の中で当該一部以外の基準特徴点を用いて、較正パラメータを算出する。このような構成により、画像処理装置１０は、車両などが高頻度で走行することにより、すべての基準特徴点が検出できない場合であっても、較正パラメータを算出し得る。

また、本実施形態の画像処理装置１０は、撮像画像において検出できる複数の基準特徴点の数が実行基準範囲の範囲外である場合、較正パラメータの算出を停止する。較正パラメータの算出には、撮像画像における位置とワールド座標系の位置とが既知である特徴点の個数に下限値があり、当該個数が多くなるほど較正精度が向上する。したがって、上述の構成を有する画像処理装置１０は、較正パラメータの算出ができない場合または較正精度の低い状況における較正パラメータの算出を防止する。その結果、画像処理装置１０は、高い較正精度の較正パラメータを算出し得る。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、本実施形態において、画像処理装置１０は、手動キャリブレーションにおいて較正パラメータの初期値の算出、基準位置の算出、および基準特徴点の特徴量の抽出を行う構成であるが、この中の少なくとも一部を手動較正用の端末装置が実行してよい。画像処理装置１０は、手動較正用の端末装置から較正パラメータの初期値、基準位置、および特徴量を手動較正用の端末装置から取得しても、本実施形態と類似した効果が得られる。

１０ 画像処理装置
１１ 路側機
１２ 撮像部
１３ 撮像装置
１４ メモリ
１５ 通信部
１６ コントローラ
１７ 画像インターフェース
１８ 情報インターフェース
１９ メモリ
２０ コントローラ

Claims (10)

1. 撮像部から撮像画像を取得する画像インターフェースと、
   前記撮像部に撮像される撮像画像の路面上または床面上の複数の特定の特徴点それぞれのワールド座標系の位置と、前記撮像部に任意の時期に撮像される該複数の特定の特徴点それぞれの撮像画像における位置を基準位置として記憶するメモリと、
   前記撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点と前記ワールド座標系の位置とに基づいて前記撮像部の位置および姿勢を較正する較正パラメータを算出可能なコントローラと、を備え、
   前記コントローラは、前記任意の時期とは異なる時期に前記撮像部に撮像される撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点の中の所定の割合以上の該撮像画像における位置が前記基準位置から変化している場合、前記較正パラメータを再算出する
   画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記撮像部に撮像される前記撮像画像における前記複数の特定の特徴点の位置と、前記複数の特定の特徴点それぞれのワールド座標系の位置を取得する情報インターフェースを、さらに備え、
   前記コントローラは、前記情報インターフェースから取得する、該撮像画像における前記複数の特定の特徴点の位置と、前記ワールド座標系の位置とに基づいて、前記較正パラメータの初期値を算出する
   画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記情報インターフェースが取得する前記ワールド座標系の位置は、特徴点に対応する地点におけるＧＰＳ受信機で受信する信号に基づいて算出される位置を含む
   画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記情報インターフェースが取得する前記ワールド座標系の位置は、地図または測量図において指定されている位置を含む
   画像処理装置。
5. 請求項１から４のいずれか１項に記載の画像処理装置において、
   前記コントローラは、前記較正パラメータを用いて前記ワールド座標系の位置から変換される前記複数の特定の特徴点の前記撮像画像における位置を、前記基準位置として、前記メモリに格納する
   画像処理装置。
6. 請求項１から５のいずれか１項に記載の画像処理装置において、
   前記コントローラは、前記撮像画像において前記複数の特定の特徴点の一部を検出できない場合、該複数の特定の特徴点の中で該一部以外の特徴点を用いて、前記較正パラメータを算出する
   画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記コントローラは、前記撮像画像において検出できる前記複数の特定の特徴点の数が実行基準範囲の範囲外である場合、前記較正パラメータの算出を停止する
   画像処理装置。
8. 撮像により撮像画像を生成する撮像部と、
   前記撮像部に撮像される撮像画像の路面上または床面上における複数の特定の特徴点それぞれのワールド座標系の位置と、前記撮像部に任意の時期に撮像される該複数の特定の特徴点それぞれの撮像画像における位置を基準位置として記憶するメモリと、
   前記撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点と前記ワールド座標系の位置とに基づいて前記撮像部の位置および姿勢を較正する較正パラメータを算出可能なコントローラと、を備え、
   前記コントローラは、前記任意の時期とは異なる時期に前記撮像部に撮像される撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点の中の所定の割合以上の該撮像画像における位置が前記基準位置から変化している場合、前記較正パラメータを再算出する
   撮像装置。
9. 撮像により撮像画像を生成する撮像部と、
   前記撮像部に撮像される撮像画像の路面上または床面上における複数の特定の特徴点それぞれのワールド座標系の位置と、前記撮像部に任意の時期に撮像される該複数の特定の特徴点それぞれの撮像画像における位置を基準位置として記憶するメモリと、
   前記撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点と前記ワールド座標系の位置とに基づいて前記撮像部の位置および姿勢を較正する較正パラメータを算出可能なコントローラと、を備え、
   前記コントローラは、前記任意の時期とは異なる時期に前記撮像部に撮像される撮像画像における前記複数の特定の特徴点を検出し、該複数の特定の特徴点の中の所定の割合以上の該撮像画像における位置が前記基準位置から変化している場合、前記較正パラメータを再算出する
   路側機。
10. 画像処理装置による画像処理方法であって、
    前記画像処理装置は、
    撮像部に撮像される撮像画像の路面上または床面上の複数の特定の特徴点それぞれのワールド座標系の位置と、前記撮像部に任意の時期に撮像される該複数の特定の特徴点それぞれの撮像画像における位置を基準位置として記憶し、
    前記任意の時期とは異なる時期に前記撮像部に撮像される撮像画像における前記複数の特定の特徴点を検出し、
    当該複数の特定の特徴点の中の所定の割合以上の該撮像画像における位置が前記基準位置から変化している場合、該複数の特定の特徴点と前記ワールド座標系の位置とに基づいて前記撮像部の位置および姿勢を較正する較正パラメータを算出する
    画像処理方法。
    

Images