JP7019113B2 - 相対位置検出装置、相対位置検出方法、及び相対位置検出プログラム - Google Patents

Description

本開示は、カメラ間の相対位置を検出する相対位置検出装置、相対位置検出方法、及び相対位置検出プログラムに関する。

街頭及びビル内などには、多くのカメラが設置されている。これらのカメラで撮影された映像は、人及びモビリティなどの監視対象である移動物体を追跡するためのシステムで使用されている。カメラ間の相対位置が既知である場合は、複数台のカメラで撮影された映像に基づいて移動物体の移動方向及び移動距離を算出することができるので、監視対象を追跡することが可能である。

国際公開第２０１８／１３４８６６号

しかしながら、カメラ間の相対位置が不明である場合は、各カメラの撮影領域の境界を跨いで移動する移動物体の移動方向及び移動距離を算出することができないので、移動物体を追跡することができない。このため、すでに設置されているカメラの間の相対位置を検出したいという要求がある。

本開示は、上記のような課題を解決するためになされたものであり、カメラ間の相対位置を検出することを目的とする。

本開示に係る相対位置検出装置は、複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するカメラ判定部と、前記複数のカメラのうちの第１の固定カメラによって撮影された第１の映像の撮影方向と前記移動カメラによって撮影された第２の映像の撮影方向とを近づける第１の変換処理を行い、前記第１の変換処理の後に、前記第１の映像に含まれる複数枚の第１の画像と前記第２の映像に含まれる複数枚の第２の画像とのうちの互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像及び第２の画像を検出する第１の検出処理を行う対応画像探索部と、前記第１の固定カメラと前記第１の対応画像部分を含む前記第２の画像を撮影したときの前記移動カメラとの間の第１の相対位置を算出する第１の相対位置算出部と、前記移動カメラの位置を算出する移動カメラ位置算出部と、第２の相対位置算出部と、を有し、
前記対応画像探索部は、前記複数のカメラのうちの第２の固定カメラによって撮影された第３の映像の撮影方向と前記移動カメラによって撮影された第４の映像の撮影方向とを近づける第２の変換処理を行い、前記第２の変換処理の後に、前記第３の映像に含まれる複数枚の第３の画像と前記第４の映像に含まれる複数枚の第４の画像とのうちの互いの類似度が予め決められた閾値以上である第２の対応画像部分を含む第３の画像及び第４の画像を検出する第２の検出処理を行い、
前記第１の相対位置算出部は、前記第２の固定カメラと前記第２の対応画像部分を含む前記第４の画像を撮影したときの前記移動カメラとの間の第２の相対位置を算出し、
前記第２の相対位置算出部は、前記第１の相対位置と、前記第２の相対位置と、前記移動カメラの位置とに基づいて、前記第１の固定カメラと前記第２の固定カメラとの間の相対位置である第３の相対位置を算出することを特徴とする。

本開示に係る相対位置検出方法は、相対位置検出装置によって実行される方法であって、複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するステップと、前記複数のカメラのうちの第１の固定カメラによって撮影された第１の映像の撮影方向と前記移動カメラによって撮影された第２の映像の撮影方向とを近づける第１の変換処理を行い、前記第１の変換処理の後に、前記第１の映像に含まれる複数枚の第１の画像と前記第２の映像に含まれる複数枚の第２の画像とのうちの互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像及び第２の画像を検出する第１の検出処理を行うステップと、前記第１の固定カメラと前記第１の対応画像部分を含む前記第２の画像を撮影したときの前記移動カメラとの間の第１の相対位置を算出するステップと、前記移動カメラの位置を算出するステップと、を有し、
前記第１の検出処理を行う前記ステップでは、前記複数のカメラのうちの第２の固定カメラによって撮影された第３の映像の撮影方向と前記移動カメラによって撮影された第４の映像の撮影方向とを近づける第２の変換処理を行い、前記第２の変換処理の後に、前記第３の映像に含まれる複数枚の第３の画像と前記第４の映像に含まれる複数枚の第４の画像とのうちの互いの類似度が予め決められた閾値以上である第２の対応画像部分を含む第３の画像及び第４の画像を検出する第２の検出処理を行い、
前記第１の相対位置を算出する前記ステップでは、前記第２の固定カメラと前記第２の対応画像部分を含む前記第４の画像を撮影したときの前記移動カメラとの間の第２の相対位置を算出し、
前記第１の相対位置と、前記第２の相対位置と、前記移動カメラの位置とに基づいて、前記第１の固定カメラと前記第２の固定カメラとの間の相対位置である第３の相対位置が算出されることを特徴とする。

本開示によれば、カメラ間の相対位置を検出することができる。

実施の形態１に係る相対位置検出装置を含むシステムのハードウェア構成の例を示す図である。 実施の形態１に係る相対位置検出装置に映像を提供するカメラの使用状態の例を示す図である。 実施の形態１に係る相対位置検出装置に映像を提供するカメラの使用状態の他の例を示す図である。 実施の形態１に係る相対位置検出装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る相対位置検出装置の対応画像探索部の構成を概略的に示す機能ブロック図である。 （Ａ）～（Ｃ）は、第１の路面検出部の動作を示す図である。 （Ａ）～（Ｄ）は、第２の路面検出部の動作を示す図である。 （Ａ）～（Ｄ）は、実施の形態１に係る相対位置検出装置の撮影方向変換部によって行われる処理の例を示す図である。 （Ａ）～（Ｃ）は、実施の形態１に係る相対位置検出装置の撮影方向変換部によって行われる処理の他の例を示す図である。 （Ａ）～（Ｄ）は、図５に示される類似画像検出部によって行われる処理を示す図である。 実施の形態１に係る相対位置検出装置の動作を示すフローチャートである。 実施の形態１に係る相対位置検出装置の対応画像探索部の動作を示すフローチャートである。 実施の形態２に係る相対位置検出装置の構成を概略的に示す機能ブロック図である。 （Ａ）～（Ｄ）は、図１３に示される拡大縮小率変換部によって行われる処理を示す図である。 実施の形態２に係る相対位置検出装置の対応画像探索部の動作を示すフローチャートである。 実施の形態３に係る相対位置検出装置の構成を概略的に示す機能ブロック図である。 （Ａ）～（Ｃ）は、図１６に示される画像選定部によって行われる処理を示す図である。 （Ａ）及び（Ｂ）は、図１６に示される対応画像探索部の動作を示すフローチャートである。

以下の実施の形態では、カメラ間の相対位置を検出する相対位置検出装置、相対位置検出方法、及び相対位置検出プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

実施の形態１．
図１は、実施の形態１に係る相対位置検出装置１０を含むシステムのハードウェア構成の例を示す図である。図１に示されるシステムは、例えば、監視システムである。図１に示されるシステムは、複数の撮像装置である複数のカメラ４１、４２、４３、４４、…と、複数のカメラ４１、４２、４３、４４、…によって撮影された複数の映像（すなわち、複数のカメラにそれぞれ対応する複数の映像情報）、カメラ間の相対位置を示す情報、などを保存するサーバ６０と、複数の映像に基づいてカメラ間の相対位置を検出する相対位置検出装置１０とを有している。複数のカメラは、固定カメラと移動カメラとを含む。固定カメラは、例えば、監視カメラである。移動カメラは、例えば、路面上を走行する車両に搭載されているカメラ（例えば、ドライブレコーダ用のカメラ）、人が携行するカメラ（例えば、スマートホンのカメラ）、などである。

相対位置検出装置１０は、例えば、コンピュータである。図１に示されるように、相対位置検出装置１０は、プロセッサとしての中央演算装置（ＣＰＵ）１００１と、一時的に情報を記憶する記憶部としてのランダムアクセスメモリ（ＲＡＭ）１００２と、情報を記憶する記憶部としてのリードオンリーメモリ（ＲＯＭ）１００３と、カメラ４１、４２、４３、４４、…と接続されるインタフェースとしてのセンサ入出力部（センサＩＯ）１００４と、サーバ６０と接続されるインタフェースとしてのカメラ情報入出力部（カメラ情報ＩＯ）１００５と、これらを接続するバス１００６とを有している。

相対位置検出装置１０は、汎用のコンピュータに限定されるものではなく、例えば、組込機器、ＥＣＵ（電子制御ユニット）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）ボード、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）ボード、などの一部であってもよい。

図１は、相対位置検出装置１０に、複数のカメラとサーバ６０とが接続されている構成を示しているが、カメラ４１、４２、４３、４４、…をサーバ６０に接続し、相対位置検出装置１０は、サーバ６０から映像情報を受信してもよい。また、複数のカメラ４１、４２、４３、４４、…と、サーバ６０と、相対位置検出装置１０とは、ネットワークを介して互いに接続されてもよい。

図２は、相対位置検出装置１０に映像を提供するカメラの使用状態の例を示す図である。図２は、固定カメラ（例えば、Ａ、Ｂ、…）によって撮影された映像と、路面７０上を移動物体８０に搭載された移動カメラＣによって撮影された映像とが相対位置検出装置１０に提供される例を示している。

図３は、相対位置検出装置１０に映像を提供するカメラの使用状態の他の例を示す図である。図３は、固定カメラ（例えば、Ａ、Ｂ、…）によって撮影された映像と、路面７０上を歩行している人８１が持ち運ぶ移動カメラＣによって撮影された映像とが相対位置検出装置１０に提供される例を示している。なお、図２及び図３における固定カメラと移動カメラとは、図１における、カメラ４１、４２、４３、４４、…のいずれかである。

図４は、相対位置検出装置１０の構成を概略的に示す機能ブロック図である。相対位置検出装置１０は、実施の形態１に係る相対位置検出方法を実施することができる装置である。図４に示されるように、相対位置検出装置１０は、映像受信部１１０と、カメラ判定部１２０と、対応画像探索部１３０と、固定カメラと移動カメラとの間の相対位置を算出する第１の相対位置算出部１４０とを有している。また、相対位置検出装置１０は、移動カメラの位置を算出する移動カメラ位置算出部１５０と、固定カメラ間の相対位置を算出する第２の相対位置算出部１６０とを有している。相対位置検出装置１０は、例えば、図１に示されるソフトウェアである相対位置検出プログラムを記憶するＲＡＭ１００２と、相対位置検出プログラムを実行するＣＰＵ１００１とによって実現される。

映像受信部１１０は、相対位置検出装置１０に接続された複数のカメラ４１、４２、４３、…によって撮影された複数の映像を受信して、映像と時刻とカメラと特定する情報（例えば、識別番号）とを互いに関連付けて保持する。

カメラ判定部１２０は、複数のカメラ４１、４２、４３、…によって撮影された複数の映像の各々が、固定カメラ（例えば、図２及び図３におけるＡ，Ｂ）によって撮影された映像であるか移動カメラ（例えば、図２及び図３におけるＣ）によって撮影された映像であるかを判定する。例えば、カメラ判定部１２０は、撮影された映像内において時系列に並ぶ複数枚の画像（すなわち、複数コマの画像）の間の差分（すなわち、２枚の画像の画素値の差分）を抽出し、画像間の差分が予め決められた基準値より小さい映像を提供するカメラを固定カメラと判定し、画像間の差分が前記基準値以上であるカメラを移動カメラと判定する。これは、固定カメラによって撮影される映像における背景部分は変化しないため時系列に並ぶ複数枚の画像の間の差分は小さいが、移動カメラによって撮影される映像における背景部分は変化するため時系列に並ぶ複数枚の画像の間の差分は大きいことを利用した判定方法である。また、カメラ判定部１２０は、オプティカルフローの検出領域が予め決められた基準値よりも小さい映像を提供するカメラを固定カメラと判定し、オプティカルフローの検出領域が前記基準値以上である映像を提供するカメラを移動カメラと判定してもよい。

対応画像探索部１３０は、図２及び図３における時刻ｔ１のときに撮影された映像に基づいて、複数のカメラ４１、４２、…のうちの第１の固定カメラＡによって撮影された第１の映像Ｐ１の撮影方向とそのときに移動カメラＣによって撮影された第２の映像Ｐ２の撮影方向とを近づける（望ましくは、一致させる）第１の変換処理を行う。また、対応画像探索部１３０は、図２及び図３の時刻ｔ２のときに撮影された映像に基づいて、複数のカメラ４１、４２、…のうちの第２の固定カメラＢによって撮影された第３の映像Ｐ３の撮影方向とそのときに移動カメラＣによって撮影された第４の映像Ｐ４の撮影方向とを近づける（望ましくは、一致させる）第２の変換処理を行う。第１の変換処理及び第２の変換処理は、撮影方向を変更する画像変換処理である撮影方向変更処理、又は視点位置を変更する画像変換処理である視点変更処理である。

対応画像探索部１３０は、第１の変換処理の後に、第１の固定カメラＡによって撮影された第１の映像Ｐ１に含まれる複数枚の第１の画像と第２の映像Ｐ２に含まれる複数枚の第２の画像とのうちの、同一の第１の空間領域内で撮影された、互いの類似度が予め決められた閾値以上である第１の対応画像部分（例えば、後述の図１０（Ａ）における物体７１）を含む第１の画像と第２の画像とを検出する第１の検出処理を行う。また、対応画像探索部１３０は、第２の変換処理の後に、第２の固定カメラＢによって撮影された第３の映像Ｐ３に含まれる複数枚の第３の画像と第４の映像Ｐ４に含まれる複数枚の第４の画像とのうちの、同一の第２の空間領域内で撮影された、互いの類似度が予め決められた閾値以上である第２の対応画像部分（例えば、後述の図１０（Ａ）における物体７２）を含む第３の画像と第４の画像とを検出する第２の検出処理を行う。

第１の検出処理は、第１の固定カメラＡによって撮影された第１の映像Ｐ１の複数枚の画像と移動カメラＣによって撮影された第２の映像Ｐ２の複数枚の画像との類似性を評価して、これらが画像マッチングの対象画像であるか否かを判定する画像探索処理である。第２の検出処理は、第２の固定カメラＢによって撮影された第３の映像Ｐ３の複数枚の画像と移動カメラＣによって撮影された第４の映像Ｐ４の複数枚の画像との類似性を評価して、これらが画像マッチングの対象画像であるか否かを判定する画像探索処理である。

第１の相対位置算出部１４０は、第１の固定カメラＡと第１の対応画像部分を含む第２の画像を撮影したとき（例えば、図２及び図３における時刻ｔ１）の移動カメラＣとの間の第１の相対位置を算出する。第１の相対位置は、相対位置だけでなく相対姿勢を含む。また、第１の相対位置算出部１４０は、第２の固定カメラＢと第２の対応画像部分を含む第２の画像を撮影したとき（例えば、図２及び図３における時刻ｔ２）の移動カメラＣとの間の第２の相対位置を算出する。第２の相対位置は、相対位置だけでなく相対姿勢を含む。第１の相対位置算出部１４０は、対応画像探索部１３０によって探索された画像を使用して、画像内の特徴点から類似する特徴のある対応点を検出し、探索された画像内の対応点の位置関係から第１の相対位置及び第２の相対位置を算出する。第１の相対位置算出部１４０は、例えば、８点アルゴリズム又は５点アルゴリズムなどを用いて第１の相対位置及び第２の相対位置を算出する。

移動カメラ位置算出部１５０は、移動カメラＣによって撮影された第２の映像Ｐ２に基づいて移動カメラＣの位置情報を算出する。また、移動カメラ位置算出部１５０は、移動カメラＣによって撮影された第４の映像Ｐ４に基づいて移動カメラＣの位置情報を算出する。移動カメラＣの位置情報は、移動カメラＣの姿勢情報を含むことができる。移動カメラ位置算出部１５０は、例えば、移動カメラＣによって撮影された第２の映像Ｐ２及び第４の映像Ｐ４において時系列に並ぶ複数枚の画像における対応点を検出し、その対応点の位置関係に基づいて移動カメラＣの位置と姿勢を算出することができる。移動カメラＣの位置と姿勢を算出する方法としては、例えば、Ｖｉｓｕａｌ－ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）がある。

第２の相対位置算出部１６０は、第１の相対位置と、第２の相対位置と、移動カメラ位置算出部１５０によって算出された移動カメラＣの位置情報（例えば、時刻ｔ１における位置情報及び時刻ｔ２における位置情報）とに基づいて、第１の固定カメラＡと第２の固定カメラＢとの間の相対位置である第３の相対位置を算出する。第３の相対位置は、相対位置だけでなく相対姿勢を含む。

図５は、相対位置検出装置１０の対応画像探索部１３０の構成を概略的に示す機能ブロック図である。図５に示されるように、対応画像探索部１３０は、固定カメラ用の第１の路面検出部１３１と、移動カメラ用の第２の路面検出部１３２と、撮影方向変換部１３３と、類似画像検出部１３４とを有している。

第１の路面検出部１３１及び第２の路面検出部１３２は、互いに異なる路面検出手法を用いる。第１の路面検出部１３１は、固定カメラの撮影領域内で移動物体が撮影された際に、移動物体の下部構造（例えば、人の足、車両の車輪、など）の底面の移動軌跡を算出し、これに基づいて基準平面である路面を検出する。

第２の路面検出部１３２は、ＳＬＡＭ、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）などによる時系列に並ぶ複数枚の画像から３次元情報を復元し、その３次元情報に基づいて基準平面である路面を検出する。例えば、第２の路面検出部１３２は、移動カメラによって撮影された映像に含まれる画像（すなわち、移動カメラの撮影画像）の下部にある平面を路面と判断する。或いは、第２の路面検出部１３２は、ＩＭＵ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサなどによって検出された重力加速度の方向に基づいて路面を推定してもよい。

撮影方向変換部１３３は、固定カメラによって撮影された映像に含まれる画像（すなわち、固定カメラの撮影画像）内に映る路面から固定カメラと路面の相対位置を算出し、平面射影変換により、固定カメラの撮影画像を路面上方から撮影した画像に変換する。撮影方向変換部１３３は、移動カメラの撮影画像に基づいて３次元情報を復元した際に、移動カメラと路面との相対位置が算出済みであるため、移動カメラの視点位置を路面上方へ移動する画像変換を行う。なお、撮影方向変換部１３３は、路面上方から撮影した画像への変換に代えて、移動カメラの撮影画像の撮影方向を固定カメラの撮影画像の撮影方向に近づける（望ましくは、一致させる）ように移動カメラの撮影画像を変換してもよい。また、撮影方向変換部１３３は、固定カメラの撮影画像の撮影方向を移動カメラの撮影画像の撮影方向に近づける（望ましくは、一致させるように）固定カメラの撮影画像を画像変換してもよい。

類似画像検出部１３４は、画像変換した固定カメラの撮影画像と移動カメラの撮影画像との類似性を評価して、画像マッチングする（すなわち、対応する）画像を探索する。以上に説明したように、複数のカメラで撮影された映像が異なる撮影方向で撮影した映像であっても、撮影方向を近づける（望ましくは、一致させる）映像に変換し、その後、類似画像を検出できるので、カメラ間の対応画像を少ない情報処理量で高精度に探索することが可能である。

図６（Ａ）～（Ｃ）は、第１の路面検出部１３１の動作を示す図である。図６（Ａ）～（Ｃ）は、第１の固定カメラＡの撮影画像に基づく路面検出方法を示している。第１の路面検出部１３１は、図６（Ａ）に示されるように、第１の固定カメラＡの撮影領域内で移動物体８０が撮影された際に、図６（Ｂ）及び（Ｃ）に示される移動物体８０の下部の底面（すなわち、車輪の接触点）が移動する画像位置を算出して、移動する画像位置を含む平面を路面７０として検出する。なお、第１の路面検出部１３１は、他の固定カメラの撮影画像に基づいて、同様の手法によって路面７０を検出する。なお、第１の映像Ｐ１に基づいて検出された路面７０は「第１の路面」とも言い、第３の映像Ｐ３に基づいて検出された路面７０は「第３の路面」とも言う。

図７（Ａ）～（Ｄ）は、第２の路面検出部１３２の動作を示す図である。移動カメラＣの撮影画像に基づく路面検出方法を示す図である。第２の路面検出部１３２は、図７（Ａ）に示されるように、移動カメラＣの撮影領域内で物体７１が撮影された際に、図７（Ｂ）及び（Ｃ）に示される時系列の撮影画像を取得し、Ｖｉｓｕａｌ－ＳＬＡＭ、ＳｆＭ、などによって、時系列の撮影画像から図７（Ｄ）に示される３次元情報を復元し、この３次元情報から路面７０を検出する。なお、第２の映像Ｐ２に基づいて検出された路面７０は「第２の路面」とも言い、第４の映像Ｐ４に基づいて検出された路面７０は「第４の路面」とも言う。

図８（Ａ）～（Ｄ）は、図５に示される撮影方向変換部１３３によって行われる処理の例を示す図である。撮影方向変換部１３３は、図８（Ａ）に示されるように第１の固定カメラＡの撮影画像内に映る路面７０の位置から第１の固定カメラＡと路面７０の相対位置を算出し、図８（Ｂ）に示されるように第１の固定カメラＡの撮影画像を平面射影変換によって路面７０の上方から撮影した画像へ変換する。また、撮影方向変換部１３３は、他の固定カメラの撮影画像をも同様に変換する。

撮影方向変換部１３３は、図８（Ｃ）に示されるように移動カメラＣの撮影画像から３次元形状を復元した際には、移動カメラＣと路面７０との相対位置が算出済みであるため、図８（Ｄ）に示されるように３次元形状を用いて移動カメラＣの視点位置を上方へ移動することで、移動カメラＣの撮影画像を路面上方から撮影した画像へ変換する。これらの処理によって、図８（Ｂ）及び（Ｄ）に示されるように、撮影方向が一致する。ただし、固定カメラの画像情報を平面射影変換によって画像変換すると、路面の平面部分は、正確に画像変換されるが、平面部分から外れた３次元形状の物体７１の画像変換に誤差が生じる。

図９（Ａ）～（Ｃ）は、図５に示される撮影方向変換部１３３によって行われる処理の他の例を示す図である。撮影方向変換部１３３は、路面上方から撮影した画像への変換に代えて、図９（Ｂ）に示される移動カメラＣの撮影画像の撮影方向を、図９（Ａ）に示される第１の固定カメラＡの撮影方向と一致するように、図９（Ｃ）に示されるように、移動カメラＣの撮影画像を変換する。同様に、撮影方向変換部１３３は、移動カメラＣの撮影画像の撮影方向を、他の固定カメラの撮影方向と一致するように、移動カメラＣの撮影画像を変換する。この場合、移動カメラＣの視点移動は、３次元形状の物体７１が計測済みであるため、路面の平面部分だけでなく３次元形状の物体７１も正確に画像変換される。

図１０（Ａ）～（Ｄ）は、図５に示される類似画像検出部１３４によって行われる処理を示す図である。類似画像検出部１３４は、撮影方向変換部１３３で画像変換した第１の固定カメラＡの撮影画像と移動カメラＣの撮影画像との類似性を評価して、画像マッチングする画像情報を探索する。また、類似画像検出部１３４は、撮影方向変換部１３３で画像変換した他の固定カメラの撮影画像と移動カメラＣの撮影画像との類似性をも評価して、画像マッチングする画像情報を探索する。類似性の評価は、類似性を数値化した類似度が、予め決められた閾値以上であるか否かを判定することで行われる。また、類似度が閾値以上の画像同士の相対位置が検出される。

類似性の評価手法の一例としては、Ｂａｇｓ Ｏｆ Ｖｉｓｕａｌ Ｗｏｒｄｓが挙げられる。固定カメラと移動カメラの撮影画像内から特徴点を抽出する特徴点の抽出方法としては、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）又はＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ）などが知られている。類似画像検出部１３４は、例えば、図１０（Ａ）に示されるように、第１の固定カメラＡによって撮影された映像（例えば、第１の映像Ｐ１及び第３の映像Ｐ３）及びに移動カメラＣによって撮影された映像（例えば、第２の映像Ｐ２及び第４の映像Ｐ４）に基づいて、特徴量ごとに撮影画像内の特徴点を分類し、図１０（Ｂ）～（Ｄ）に示されるように、各特徴量の特徴点数を計測してヒストグラムを作成する。類似画像検出部１３４は、ヒストグラムが近い撮影画像は、互いの類似度が高いと評価する。例えば、類似画像検出部１３４は、互いの類似度が予め決められた閾値以上である撮影画像は、互いに類似画像として検出する。また、類似画像検出部１３４は、第１の固定カメラＡの変換後の撮影画像と移動カメラＣの変換後の撮影画像で、特徴量の類似度が高い特徴点を検出して画像マッチングすることで、固定カメラと移動カメラの画像情報同士の対応点を検出できる。

以上のように、複数のカメラの撮影画像は、撮影方向が一致した撮影画像に変換されるので、類似画像の探索の精度が向上する。

図１１は、相対位置検出装置１０の動作を示すフローチャートである。先ず、映像受信部１１０は、複数のカメラ４１、４２、４３、…によって撮影された複数の映像を受信する（ステップＳ１）。次に、カメラ判定部１２０は、複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定する（ステップＳ２）。

次に、対応画像探索部１３０は、第１の固定カメラＡによって撮影された第１の映像Ｐ１の撮影方向と移動カメラＣによって撮影された第２の映像Ｐ２の撮影方向とを近づける第１の変換処理を行い、第１の変換処理の後に、第１の映像Ｐ１に含まれる複数枚の撮影画像である第１の画像と第２の映像Ｐ２に含まれる複数枚の撮影画像である第２の画像とのうちの、同一の第１の空間領域内で撮影された、互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像と第２の画像とを検出する第１の検出処理を行う。また、対応画像探索部１３０は、同様の処置を第２の固定カメラＢについて行う（ステップＳ３）。

次に、第１の相対位置算出部１４０は、第１の固定カメラＡと第１の対応画像部分を含む第２の画像を撮影したときの移動カメラＣとの間の第１の相対位置を算出する。第１の相対位置算出部１４０は、同様の処置を第２の固定カメラＢについて行い、第２の相対位置を算出する（ステップＳ４）。

次に、移動カメラ位置算出部１５０は、移動カメラＣによって撮影された映像（例えば、第２の映像Ｐ２及び第４の映像Ｐ４）に基づいて、例えば、ＳＬＡＭなどの方法によって、移動カメラＣの位置を算出する（ステップＳ５）。

次に、第２の相対位置算出部１６０は、第１の相対位置と、第２の相対位置と、移動カメラ位置算出部１５０によって算出された移動カメラＣの位置とに基づいて、２つの固定カメラ（例えば、第１の固定カメラＡと第２の固定カメラＢ）との間の相対位置である第３の相対位置を算出する（ステップＳ６）。

図１２は、相対位置検出装置１０の対応画像探索部１３０の動作を示すフローチャートである。対応画像探索部１３０は、第１の固定カメラＡによって撮影された第１の映像Ｐ１に基づいて路面を検出し、第２の固定カメラＢによって撮影された第３の映像Ｐ３に基づいて路面を検出し（ステップＳ１１）、検出された路面に基づいて第１の固定カメラＡの撮影方向と第２の固定カメラＢの撮影方向とを検出する（ステップＳ１２）。

次に、対応画像探索部１３０は、移動カメラＣによって撮影された第２の映像Ｐ２及び第４の映像Ｐ４に基づいて路面を検出し、検出された路面に基づいて移動カメラＣの第２の映像Ｐ２の撮影方向及び第４の映像Ｐ４の撮影方向を検出し（ステップＳ１３）、第１の固定カメラＡの撮影方向、第２の固定カメラの撮影方向、及び移動カメラＣの撮影方向に基づいて、第１及び第２の変換処理を行う（ステップＳ１４）。次に、対応画像探索部１３０は、変換処理後に、対応画像部分の類似度を算出し、類似度が予め決められた閾値以上の対応画像部分を含む画像を検出する第１及び第２の検出処理を行う（ステップＳ１５）。

以上に説明したように、実施の形態１に係る相対位置検出装置１０によれば、複数のカメラで異なる撮影方向から撮影した映像情報であっても、画像変換することで撮影方向を互いに近づける（望ましくは、一致させる）変換処理を実行し、その後、類似画像を検出するので、固定カメラと移動カメラとの対応画像を探索することが可能である。その結果、相対位置検出装置１０は、固定カメラと移動カメラとの間の相対位置である第１及び第２の相対位置を検出することができる。また、相対位置検出装置１０は、第１及び第２の相対位置と移動カメラの位置とに基づいて固定カメラ間の相対位置である第３の相対位置を検出することができる。

実施の形態２
図１３は、実施の形態２に係る相対位置検出装置２０の構成を概略的に示す機能ブロック図である。図１３において、図４に示される構成要素と同一又は対応する構成要素には、図４に示される符号と同じ符号が付されている。相対位置検出装置２０は、実施の形態２に係る相対位置検出方法を実施することができる装置である。相対位置検出装置２０は、実施の形態１における第１の路面検出部１３１、第２の路面検出部１３２、及び撮影方向変換部１３３に代えて、拡大縮小率変換部２３１を備えた点が、実施の形態１に係る相対位置検出装置１０と異なる。ただし、相対位置検出装置２０は、実施の形態１における第１の路面検出部１３１、第２の路面検出部１３２、及び撮影方向変換部１３３に加えて、拡大縮小率変換部２３１を備えてもよい。

対応画像探索部２３０の拡大縮小率変換部２３１は、第１の固定カメラＡによって撮影された第１の映像Ｐ１と移動カメラＣによって撮影された第２の映像Ｐ２とに基づいて第１の映像Ｐ１の第１の拡大縮小率（すなわち、第１のスケール）と第２の映像Ｐ２の第２の拡大縮小率（すなわち、第２のスケール）とを決定し、第１の拡大縮小率を用いて第１の映像Ｐ１を拡大縮小処理し、第２の拡大縮小率を用いて第２の映像Ｐ２を拡大縮小処理する第１の拡大縮小処理を行い、第１の拡大縮小処理の後に実施の形態１で説明した第１の検出処理を行う。また、拡大縮小率変換部２３１は、第２の固定カメラＢによって撮影された第３の映像Ｐ３と移動カメラＣによって撮影された第４の映像Ｐ４とに基づいて第３の映像Ｐ３の第３の拡大縮小率（すなわち、第３のスケール）と第４の映像Ｐ４の第４の拡大縮小率（すなわち、第４のスケール）とを決定し、第３の拡大縮小率を用いて第３の映像Ｐ３を拡大縮小処理し、第４の拡大縮小率を用いて第４の映像Ｐ４を拡大縮小処理する第２の拡大縮小処理を行い、第２の拡大縮小処理の後に実施の形態１で説明した第２の検出処理を行う。

具体的に言えば、対応画像探索部２３０は、固定カメラの撮影画像のスケール（すなわち、長さ基準）と移動カメラの撮影画像とのスケールとを互いに近づける（望ましくは、互いに一致させる）ように、撮影画像の拡大縮小率を設定する。例えば、移動物体の移動距離が算出可能な場合は、対応画像探索部２３０は、固定カメラの撮影画像内に映る移動物体の移動範囲（すなわち、撮影画像における移動長さ）と算出された移動物体の移動距離（すなわち、現実の移動距離）とに基づいて、固定カメラの撮影画像のスケールを算出する。また、対応画像探索部２３０は、移動カメラの撮影画像のスケールを、例えば、ＳＬＡＭによって得られた移動カメラの移動結果と算出された移動物体の移動距離とを比較することで算出することができる。

類似画像検出部１３４は、拡大縮小処理された固定カメラの撮影画像と拡大縮小処理された移動カメラの撮影画像との類似性を評価して、画像マッチングする画像を探索する。類似画像検出部１３４による類似画像の検出処理は、実施の形態１のものと同様である。

以上のように、実施の形態２では、複数のカメラの撮影画像は、スケールが一致した撮影画像に変換した後に、類似性が評価されるので、類似画像の検出の精度が向上する。

図１４（Ａ）～（Ｄ）は、図１３に示される拡大縮小率変換部２３１によって行われる処理を示す図である。拡大縮小率変換部２３１は、固定カメラの撮影画像のスケールと移動カメラの撮影画像のスケールとを互いに近づける（望ましくは、互いに一致させる）ために拡大縮小処理を行う。図１４（Ａ）に示されるように、移動物体８０の移動距離が検出可能な場合には、拡大縮小率変換部２３１は、図１４（Ｂ）に示される第１の固定カメラＡの撮影画像内に映る移動物体８０の移動範囲と移動物体８０の移動距離とに基づいて、第１の固定カメラＡの拡大縮小率を算出する。拡大縮小率変換部２３１は、第１の固定カメラＡの撮影画像を路面上方から撮影した画像へ変換する。拡大縮小率変換部２３１は、この画像上で移動物体８０が移動した移動範囲と、移動物体８０の現実の移動距離とを比較することで、路面位置における撮影画像の拡大縮小率を算出することができる。拡大縮小率変換部２３１は、第２の固定カメラＢの撮影画像の拡大縮小率も、同様に算出する。

拡大縮小率変換部２３１は、移動物体８０の移動距離が検出不能な場合には、図１４（Ｃ）及び（Ｄ）に示されるように、移動カメラの映像情報を用いたＶｉｓｕａｌ－ＳＬＡＭによって、移動カメラの移動距離を算出してもよい。図１４（Ｃ）及び（Ｄ）の場合には、拡大縮小率変換部２３１は、図１４（Ａ）及び（Ｂ）の場合と同様に、固定カメラの撮影画像を路面上方から撮影した画像情報へ変換することで、固定カメラの画像拡大縮小率を算出することができる。

図１５は、図１３に示される対応画像探索部２３０の動作を示すフローチャートである。先ず、拡大縮小率変換部２３１は、固定カメラによって撮影された映像に基づいて移動している物体（例えば、移動中の移動物体である人、車両、など）を検出し、その移動情報を取得する（ステップＳ２１）。次に、拡大縮小率変換部２３１は、図１４（Ｃ）及び（Ｄ）に示されるように、移動カメラで撮影された映像に基づいて移動カメラの移動情報を算出する（ステップＳ２２）。

次に、拡大縮小率変換部２３１は、移動物体の移動情報と移動カメラの移動情報とに基づいて固定カメラと移動カメラの撮影画像の拡大縮小率を算出する（ステップＳ２３）。次に、拡大縮小率変換部２３１は、算出された拡大縮小率を用いて画像の拡大縮小処理を行う（ステップＳ２４）。この拡大縮小処理は、上記した第１及び第２の拡大縮小処理である。次に、拡大縮小率変換部２３１は、実施の形態１で説明した第１及び第２の検出処理を行う（ステップＳ２５）。

以上に説明したように、実施の形態２に係る相対位置検出装置２０によれば、複数のカメラで撮影した映像を拡大縮小処理した後に、類似画像を検出するので、固定カメラと移動カメラとの対応画像を探索することが可能である。その結果、相対位置検出装置２０は、固定カメラと移動カメラとの間の相対位置である第１及び第２の相対位置を検出することができる。また、相対位置検出装置２０は、第１及び第２の相対位置と移動カメラの位置とに基づいて固定カメラ間の相対位置である第３の相対位置を検出することができる。

なお、上記以外の点に関し、実施の形態２は、実施の形態１と同じである。

実施の形態３
図１６は、実施の形態３に係る相対位置検出装置３０の構成を概略的に示す機能ブロック図である。図１６において、図４に示される構成要素と同一又は対応する構成要素には、図４に示される符号と同じ符号が付されている。相対位置検出装置３０は、実施の形態３に係る相対位置検出方法を実施することができる装置である。実施の形態３に係る相対位置検出装置３０は、実施の形態１における第１の路面検出部１３１、第２の路面検出部１３２、及び撮影方向変換部１３３に代えて、画像選定部３３１を備えた点が、実施の形態１に係る相対位置検出装置１０と異なる。ただし、相対位置検出装置３０は、実施の形態１における第１の路面検出部１３１、第２の路面検出部１３２、及び撮影方向変換部１３３に加えて、画像選定部３３１を備えてもよい。また、相対位置検出装置３０は、実施の形態２における拡大縮小率変換部２３１に加えて、画像選定部３３１を備えてもよい。

相対位置検出装置３０の対応画像探索部３３０は、画像選定部３３１と、類似画像検出部１３４とを有している。画像選定部３３１は、固定カメラの撮影画像から、画像マッチングに使用する画像を選定する。

例えば、画像選定部３３１は、第１の固定カメラＡによって撮影された第１の映像Ｐ１において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第１の候補画像を抽出し、複数枚の第１の候補画像から第１の対応画像部分を含む第１の画像（例えば、図１０（Ｂ）に示される）を検出する。また、画像選定部３３１は、移動カメラＣによって撮影された第２の映像Ｐ２において第１の固定カメラＡが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第２の候補画像を抽出し、複数枚の第２の候補画像から第１の対応画像部分を含む記第２の画像（例えば、図１０（Ｃ）に示される）を検出する。第１の対応画像部分は、例えば、図１０（Ａ）に示される物体７１を撮影して得られる画像部分である。

また、画像選定部３３１は、第２の固定カメラＢによって撮影された第３の映像Ｐ３において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第３の候補画像を抽出し、複数枚の第３の候補画像から第２の対応画像部分を含む第３の画像を検出する。また、画像選定部３３１は、移動カメラＣによって撮影された第４の映像Ｐ４において第２の固定カメラＢが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第４の候補画像を抽出し、複数枚の第４の候補画像から第２の対応画像部分を含む第４の画像（例えば、図１０（Ｄ）に示される）を検出する。第２の対応画像部分は、例えば、図１０（Ａ）に示される物体７２を撮影して得られる画像部分である。

類似画像検出部１３４は、固定カメラの撮影画像と移動カメラの撮影画像との類似性を評価して、画像マッチングする画像を探索する。類似画像検出部１３４による類似画像の検出処理は、実施の形態１又は２のものと同様である。

以上のように、実施の形態３では、類似画像の検索対象となる画像量を削減できるので、類似画像の検出精度と処理速度が向上する。

図１７（Ａ）～（Ｃ）は、図１６に示される画像選定部３３１によって行われる処理を示す図である。画像選定部３３１は、図１７（Ａ）に示されるように、第１の固定カメラＡの撮影画像から類似画像の検出対象となる画像を選定する。画像選定部３３１は、第１の固定カメラＡの撮影領域内に移動している物体が存在する時間の前後に撮影した画像を画像マッチングの対象画像と選定する。画像選定部３３１は、図１７（Ｂ）に示されるように、第１の固定カメラＡの撮影画像の差分に基づいて、第１の固定カメラＡの撮影画像に、移動している物体があることを検出する。次に、画像選定部３３１は、図１７（Ｃ）に示されるように、第１の固定カメラＡの撮影画像に、移動している物体があることが検出された時刻の前後の予め決められた時間範囲内の撮影画像を候補画像（すなわち、複数枚の第１の候補画像）として選定する。画像選定部３３１は、第２の固定カメラＢの撮影画像についても、同様の処理を行って、候補画像（すなわち、複数枚の第３の候補画像）を選定する。

図１８（Ａ）及び（Ｂ）は、図１６に示される対応画像探索部３３０の動作を示すフローチャートである。移動カメラＣがドライブレコーダ等のカメラであることが既知である場合、図１８（Ａ）に示されるように、画像選定部３３１は、固定カメラの撮影画像内に車両などの移動している物体が検出された時刻を抽出し保持し（ステップＳ３１）、移動している物体を検出した時刻の前後の予め決められた時間範囲内の画像を画像マッチングの対象画像である候補画像（例えば、複数枚の第１の候補画像、及び複数枚の第３の候補画像）として選定する（ステップＳ３２）。次に、類似画像検出部１３４は、候補画像を用いて類似度を算出し、類似度が予め決められた閾値以上の画像を検出する（ステップＳ３３）。

また、図１８（Ｂ）に示されるように、画像選定部３３１は、移動カメラＣによって撮影された映像に基づいて、第１の固定カメラＡが検出された時刻を抽出し保持し（ステップＳ４１）、第１の固定カメラＡを検出した時刻の前後の予め決められた時間範囲内の画像を画像マッチングの対象画像である候補画像（例えば、複数枚の第２の候補画像）として選定する（ステップＳ４２）。画像選定部３３１は、移動カメラＣによって撮影された映像に第２の固定カメラＢが検出された際にも、同様の処理を行って、候補画像（例えば、複数枚の第４の候補画像）を選定する。次に、類似画像検出部１３４は、候補画像を用いて類似度を算出し、類似度が予め決められた閾値以上の画像を検出する（ステップＳ４３）。

以上に説明したように、実施の形態３に係る相対位置検出装置２０によれば、複数のカメラで撮影した映像に含まれる複数枚の撮影画像の一部についてのみ類似画像を検出する処理を行うので、固定カメラと移動カメラとの対応画像の探索処理の情報処理量を削減することが可能である。

なお、上記以外の点に関し、実施の形態３は、実施の形態１又は２と同じである。

１０、２０、３０ 相対位置検出装置、 ４１、４２、４３、４４、… カメラ、 ６０ サーバ、 ７０ 路面、 ７１、７２ 物体、 ８０ 移動物体、 １１０ 映像受信部、 １２０ カメラ判定部、 １３０、２３０、３３０ 対応画像探索部、 １３１ 第１の路面検出部、 １３２ 第２の路面検出部、 １３３ 撮影方向変換部、 １３４ 類似画像検出部、 １４０ 第１の相対位置算出部、 １５０ 移動カメラ位置算出部、 １６０ 第２の相対位置算出部、 ２３１ 拡大縮小率変換部、 ３３１ 画像選定部、 Ａ 第１の固定カメラ、 Ｂ 第２の固定カメラ、 Ｃ 移動カメラ、 Ｐ１ 第１の映像、 Ｐ２ 第２の映像、 Ｐ３ 第３の映像、 Ｐ４ 第４の映像。

Claims (9)

1. 複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するカメラ判定部と、
   前記複数のカメラのうちの第１の固定カメラによって撮影された第１の映像の撮影方向と前記移動カメラによって撮影された第２の映像の撮影方向とを近づける第１の変換処理を行い、前記第１の変換処理の後に、前記第１の映像に含まれる複数枚の第１の画像と前記第２の映像に含まれる複数枚の第２の画像とのうちの互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像及び第２の画像を検出する第１の検出処理を行う対応画像探索部と、
   前記第１の固定カメラと前記第１の対応画像部分を含む前記第２の画像を撮影したときの前記移動カメラとの間の第１の相対位置を算出する第１の相対位置算出部と、
   前記移動カメラの位置を算出する移動カメラ位置算出部と、
   第２の相対位置算出部と、
   を有し、
   前記対応画像探索部は、
   前記複数のカメラのうちの第２の固定カメラによって撮影された第３の映像の撮影方向と前記移動カメラによって撮影された第４の映像の撮影方向とを近づける第２の変換処理を行い、
   前記第２の変換処理の後に、前記第３の映像に含まれる複数枚の第３の画像と前記第４の映像に含まれる複数枚の第４の画像とのうちの互いの類似度が予め決められた閾値以上である第２の対応画像部分を含む第３の画像及び第４の画像を検出する第２の検出処理を行い、
   前記第１の相対位置算出部は、前記第２の固定カメラと前記第２の対応画像部分を含む前記第４の画像を撮影したときの前記移動カメラとの間の第２の相対位置を算出し、
   前記第２の相対位置算出部は、前記第１の相対位置と、前記第２の相対位置と、前記移動カメラの位置とに基づいて、前記第１の固定カメラと前記第２の固定カメラとの間の相対位置である第３の相対位置を算出する
   ことを特徴とする相対位置検出装置。
2. 前記対応画像探索部は、
   前記第１の映像内において第１の路面を検出し、前記第１の路面に基づいて前記第１の映像の撮影方向を検出し、前記第２の映像内において第２の路面を検出し、前記第２の路面に基づいて前記第２の映像の撮影方向を検出し、前記第１の映像の撮影方向と前記第２の映像の撮影方向とに基づいて前記第１の変換処理を行い、
   前記第３の映像内において第３の路面を検出し、前記第３の路面に基づいて前記第３の映像の撮影方向を検出し、前記第４の映像内において第４の路面を検出し、前記第４の路面に基づいて前記第４の映像の撮影方向を検出し、前記第３の映像の撮影方向と前記第４の映像の撮影方向とに基づいて前記第２の変換処理を行う
   ことを特徴とする請求項１に記載の相対位置検出装置。
3. 前記対応画像探索部は、
   前記第１の映像と前記第２の映像とに基づいて前記第１の映像の第１の拡大縮小率と前記第２の映像の第２の拡大縮小率とを決定し、前記第１の拡大縮小率を用いて前記第１の映像を拡大縮小処理し、前記第２の拡大縮小率を用いて前記第２の映像を拡大縮小処理する第１の拡大縮小処理を行い、
   前記第１の拡大縮小処理の後に前記第１の検出処理を行い、
   前記第３の映像と前記第４の映像とに基づいて前記第３の映像の第３の拡大縮小率と前記第４の映像の第４の拡大縮小率とを決定し、前記第３の拡大縮小率を用いて前記第３の映像を拡大縮小処理し、前記第４の拡大縮小率を用いて前記第４の映像を拡大縮小処理する第２の拡大縮小処理を行い、
   前記第２の拡大縮小処理の後に前記第２の検出処理を行う
   ことを特徴とする請求項１又は２に記載の相対位置検出装置。
4. 前記対応画像探索部は、
   前記第１の映像において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第１の候補画像を抽出し、
   前記複数枚の第１の候補画像から前記第１の対応画像部分を含む前記第１の画像を検出する
   ことを特徴とする請求項１から３のいずれか１項に記載の相対位置検出装置。
5. 前記対応画像探索部は、
   前記第２の映像において前記第１の固定カメラが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第２の候補画像を抽出し、
   前記複数枚の第２の候補画像から前記第１の対応画像部分を含む前記第２の画像を検出する
   ことを特徴とする請求項１から４のいずれか１項に記載の相対位置検出装置。
6. 前記対応画像探索部は、
   前記第３の映像において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第３の候補画像を抽出し、
   前記複数枚の第３の候補画像から前記第２の対応画像部分を含む前記第３の画像を検出する
   ことを特徴とする請求項１から３のいずれか１項に記載の相対位置検出装置。
7. 前記対応画像探索部は、
   前記第４の映像において前記第２の固定カメラが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第４の候補画像を抽出し、
   前記複数枚の第４の候補画像から前記第２の対応画像部分を含む前記第４の画像を検出する
   ことを特徴とする請求項１から３及び６のいずれか１項に記載の相対位置検出装置。
8. 相対位置検出装置によって実行される相対位置検出方法であって、
   複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するステップと、
   前記複数のカメラのうちの第１の固定カメラによって撮影された第１の映像の撮影方向と前記移動カメラによって撮影された第２の映像の撮影方向とを近づける第１の変換処理を行い、前記第１の変換処理の後に、前記第１の映像に含まれる複数枚の第１の画像と前記第２の映像に含まれる複数枚の第２の画像とのうちの互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像及び第２の画像を検出する第１の検出処理を行うステップと、
   前記第１の固定カメラと前記第１の対応画像部分を含む前記第２の画像を撮影したときの前記移動カメラとの間の第１の相対位置を算出するステップと、
   前記移動カメラの位置を算出するステップと、
   を有し、
   前記第１の検出処理を行う前記ステップでは、
   前記複数のカメラのうちの第２の固定カメラによって撮影された第３の映像の撮影方向と前記移動カメラによって撮影された第４の映像の撮影方向とを近づける第２の変換処理を行い、
   前記第２の変換処理の後に、前記第３の映像に含まれる複数枚の第３の画像と前記第４の映像に含まれる複数枚の第４の画像とのうちの互いの類似度が予め決められた閾値以上である第２の対応画像部分を含む第３の画像及び第４の画像を検出する第２の検出処理を行い、
   前記第１の相対位置を算出する前記ステップでは、前記第２の固定カメラと前記第２の対応画像部分を含む前記第４の画像を撮影したときの前記移動カメラとの間の第２の相対位置を算出し、
   前記第１の相対位置と、前記第２の相対位置と、前記移動カメラの位置とに基づいて、前記第１の固定カメラと前記第２の固定カメラとの間の相対位置である第３の相対位置が算出される
   ことを特徴とする相対位置検出方法。
9. 複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するステップと、
   前記複数のカメラのうちの第１の固定カメラによって撮影された第１の映像の撮影方向と前記移動カメラによって撮影された第２の映像の撮影方向とを近づける第１の変換処理を行い、前記第１の変換処理の後に、前記第１の映像に含まれる複数枚の第１の画像と前記第２の映像に含まれる複数枚の第２の画像とのうちの互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像及び第２の画像を検出する第１の検出処理を行うステップと、
   前記第１の固定カメラと前記第１の対応画像部分を含む前記第２の画像を撮影したときの前記移動カメラとの間の第１の相対位置を算出するステップと、
   前記移動カメラの位置を算出するステップと、
   をコンピュータに実行させる相対位置検出プログラムであって、
   前記第１の検出処理を行う前記ステップでは、
   前記複数のカメラのうちの第２の固定カメラによって撮影された第３の映像の撮影方向と前記移動カメラによって撮影された第４の映像の撮影方向とを近づける第２の変換処理を行い、
   前記第２の変換処理の後に、前記第３の映像に含まれる複数枚の第３の画像と前記第４の映像に含まれる複数枚の第４の画像とのうちの互いの類似度が予め決められた閾値以上である第２の対応画像部分を含む第３の画像及び第４の画像を検出する第２の検出処理を行い、
   前記第１の相対位置を算出する前記ステップでは、前記第２の固定カメラと前記第２の対応画像部分を含む前記第４の画像を撮影したときの前記移動カメラとの間の第２の相対位置を算出し、
   前記第１の相対位置と、前記第２の相対位置と、前記移動カメラの位置とに基づいて、前記第１の固定カメラと前記第２の固定カメラとの間の相対位置である第３の相対位置が算出される
   ことを特徴とする相対位置検出プログラム。

Images