JP7019113B2 - Relative position detector, relative position detection method, and relative position detection program - Google Patents
Relative position detector, relative position detection method, and relative position detection program Download PDFInfo
- Publication number
- JP7019113B2 JP7019113B2 JP2021561598A JP2021561598A JP7019113B2 JP 7019113 B2 JP7019113 B2 JP 7019113B2 JP 2021561598 A JP2021561598 A JP 2021561598A JP 2021561598 A JP2021561598 A JP 2021561598A JP 7019113 B2 JP7019113 B2 JP 7019113B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- relative position
- camera
- moving
- fixed camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本開示は、カメラ間の相対位置を検出する相対位置検出装置、相対位置検出方法、及び相対位置検出プログラムに関する。 The present disclosure relates to a relative position detection device for detecting a relative position between cameras, a relative position detection method, and a relative position detection program.
街頭及びビル内などには、多くのカメラが設置されている。これらのカメラで撮影された映像は、人及びモビリティなどの監視対象である移動物体を追跡するためのシステムで使用されている。カメラ間の相対位置が既知である場合は、複数台のカメラで撮影された映像に基づいて移動物体の移動方向及び移動距離を算出することができるので、監視対象を追跡することが可能である。 Many cameras are installed on the streets and in buildings. The images taken by these cameras are used in systems for tracking moving objects that are monitored, such as people and mobility. When the relative position between the cameras is known, the moving direction and the moving distance of the moving object can be calculated based on the images taken by a plurality of cameras, so that the monitored object can be tracked. ..
しかしながら、カメラ間の相対位置が不明である場合は、各カメラの撮影領域の境界を跨いで移動する移動物体の移動方向及び移動距離を算出することができないので、移動物体を追跡することができない。このため、すでに設置されているカメラの間の相対位置を検出したいという要求がある。 However, when the relative position between the cameras is unknown, the moving direction and the moving distance of the moving object moving across the boundary of the shooting area of each camera cannot be calculated, so that the moving object cannot be tracked. .. Therefore, there is a demand to detect the relative position between the cameras already installed.
本開示は、上記のような課題を解決するためになされたものであり、カメラ間の相対位置を検出することを目的とする。 The present disclosure has been made to solve the above-mentioned problems, and an object of the present disclosure is to detect a relative position between cameras.
本開示に係る相対位置検出装置は、複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するカメラ判定部と、前記複数のカメラのうちの第1の固定カメラによって撮影された第1の映像の撮影方向と前記移動カメラによって撮影された第2の映像の撮影方向とを近づける第1の変換処理を行い、前記第1の変換処理の後に、前記第1の映像に含まれる複数枚の第1の画像と前記第2の映像に含まれる複数枚の第2の画像とのうちの互いの類似度が予め決められた閾値以上である第1の対応画像部分を含む第1の画像及び第2の画像を検出する第1の検出処理を行う対応画像探索部と、前記第1の固定カメラと前記第1の対応画像部分を含む前記第2の画像を撮影したときの前記移動カメラとの間の第1の相対位置を算出する第1の相対位置算出部と、前記移動カメラの位置を算出する移動カメラ位置算出部と、第2の相対位置算出部と、を有し、
前記対応画像探索部は、前記複数のカメラのうちの第2の固定カメラによって撮影された第3の映像の撮影方向と前記移動カメラによって撮影された第4の映像の撮影方向とを近づける第2の変換処理を行い、前記第2の変換処理の後に、前記第3の映像に含まれる複数枚の第3の画像と前記第4の映像に含まれる複数枚の第4の画像とのうちの互いの類似度が予め決められた閾値以上である第2の対応画像部分を含む第3の画像及び第4の画像を検出する第2の検出処理を行い、
前記第1の相対位置算出部は、前記第2の固定カメラと前記第2の対応画像部分を含む前記第4の画像を撮影したときの前記移動カメラとの間の第2の相対位置を算出し、
前記第2の相対位置算出部は、前記第1の相対位置と、前記第2の相対位置と、前記移動カメラの位置とに基づいて、前記第1の固定カメラと前記第2の固定カメラとの間の相対位置である第3の相対位置を算出することを特徴とする。
The relative position detection device according to the present disclosure is a camera determination unit that determines whether each of a plurality of images captured by a plurality of cameras is an image captured by a fixed camera or an image captured by a moving camera. And the first conversion process of bringing the shooting direction of the first image shot by the first fixed camera of the plurality of cameras and the shooting direction of the second image shot by the moving camera closer to each other. After the first conversion process, the degree of similarity between the plurality of first images included in the first video and the plurality of second images included in the second video is increased. A corresponding image search unit that performs a first detection process for detecting a first image and a second image including a first corresponding image portion that is equal to or higher than a predetermined threshold, the first fixed camera, and the first. A first relative position calculation unit that calculates a first relative position with the moving camera when the second image including the corresponding image portion of 1 is taken, and a movement that calculates the position of the moving camera. It has a camera position calculation unit and a second relative position calculation unit.
The corresponding image search unit brings the shooting direction of the third image shot by the second fixed camera of the plurality of cameras closer to the shooting direction of the fourth image shot by the moving camera. After the second conversion process, among the plurality of third images included in the third video and the plurality of fourth images included in the fourth video. A second detection process for detecting a third image and a fourth image including a second corresponding image portion whose similarity to each other is equal to or higher than a predetermined threshold is performed.
The first relative position calculation unit calculates a second relative position between the second fixed camera and the moving camera when the fourth image including the second corresponding image portion is taken. death,
The second relative position calculation unit includes the first fixed camera and the second fixed camera based on the first relative position, the second relative position, and the position of the moving camera. It is characterized in that a third relative position, which is a relative position between the two, is calculated .
本開示に係る相対位置検出方法は、相対位置検出装置によって実行される方法であって、複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するステップと、前記複数のカメラのうちの第1の固定カメラによって撮影された第1の映像の撮影方向と前記移動カメラによって撮影された第2の映像の撮影方向とを近づける第1の変換処理を行い、前記第1の変換処理の後に、前記第1の映像に含まれる複数枚の第1の画像と前記第2の映像に含まれる複数枚の第2の画像とのうちの互いの類似度が予め決められた閾値以上である第1の対応画像部分を含む第1の画像及び第2の画像を検出する第1の検出処理を行うステップと、前記第1の固定カメラと前記第1の対応画像部分を含む前記第2の画像を撮影したときの前記移動カメラとの間の第1の相対位置を算出するステップと、前記移動カメラの位置を算出するステップと、を有し、
前記第1の検出処理を行う前記ステップでは、前記複数のカメラのうちの第2の固定カメラによって撮影された第3の映像の撮影方向と前記移動カメラによって撮影された第4の映像の撮影方向とを近づける第2の変換処理を行い、前記第2の変換処理の後に、前記第3の映像に含まれる複数枚の第3の画像と前記第4の映像に含まれる複数枚の第4の画像とのうちの互いの類似度が予め決められた閾値以上である第2の対応画像部分を含む第3の画像及び第4の画像を検出する第2の検出処理を行い、
前記第1の相対位置を算出する前記ステップでは、前記第2の固定カメラと前記第2の対応画像部分を含む前記第4の画像を撮影したときの前記移動カメラとの間の第2の相対位置を算出し、
前記第1の相対位置と、前記第2の相対位置と、前記移動カメラの位置とに基づいて、前記第1の固定カメラと前記第2の固定カメラとの間の相対位置である第3の相対位置が算出されることを特徴とする。
The relative position detection method according to the present disclosure is a method executed by a relative position detection device, and each of a plurality of images captured by a plurality of cameras is an image captured by a fixed camera or a moving camera. The step of determining whether the image is captured, the shooting direction of the first image captured by the first fixed camera of the plurality of cameras, and the capture of the second image captured by the moving camera. A first conversion process for bringing the directions closer to each other is performed, and after the first conversion process, a plurality of first images included in the first image and a plurality of second images included in the second image are included. The step of performing the first detection process for detecting the first image and the second image including the first corresponding image portion in which the similarity between the images and the images is equal to or higher than a predetermined threshold, and the above. The step of calculating the first relative position between the first fixed camera and the moving camera when the second image including the first corresponding image portion is taken, and the position of the moving camera are calculated. And have steps to
In the step of performing the first detection process, the shooting direction of the third image captured by the second fixed camera among the plurality of cameras and the photographing direction of the fourth image captured by the moving camera. A second conversion process is performed to bring the images closer to each other, and after the second conversion process, a plurality of third images included in the third image and a plurality of fourth images included in the fourth image are used. A second detection process for detecting a third image and a fourth image including a second corresponding image portion whose similarity with the image is equal to or higher than a predetermined threshold is performed.
In the step of calculating the first relative position, the second relative between the second fixed camera and the moving camera when the fourth image including the second corresponding image portion is taken. Calculate the position,
A third, which is a relative position between the first fixed camera and the second fixed camera, based on the first relative position, the second relative position, and the position of the moving camera. It is characterized in that the relative position is calculated .
本開示によれば、カメラ間の相対位置を検出することができる。 According to the present disclosure, it is possible to detect relative positions between cameras.
以下の実施の形態では、カメラ間の相対位置を検出する相対位置検出装置、相対位置検出方法、及び相対位置検出プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。 In the following embodiment, a relative position detection device for detecting a relative position between cameras, a relative position detection method, and a relative position detection program will be described with reference to the drawings. The following embodiments are merely examples, and it is possible to appropriately combine the embodiments and change the embodiments as appropriate.
実施の形態1.
図1は、実施の形態1に係る相対位置検出装置10を含むシステムのハードウェア構成の例を示す図である。図1に示されるシステムは、例えば、監視システムである。図1に示されるシステムは、複数の撮像装置である複数のカメラ41、42、43、44、…と、複数のカメラ41、42、43、44、…によって撮影された複数の映像(すなわち、複数のカメラにそれぞれ対応する複数の映像情報)、カメラ間の相対位置を示す情報、などを保存するサーバ60と、複数の映像に基づいてカメラ間の相対位置を検出する相対位置検出装置10とを有している。複数のカメラは、固定カメラと移動カメラとを含む。固定カメラは、例えば、監視カメラである。移動カメラは、例えば、路面上を走行する車両に搭載されているカメラ(例えば、ドライブレコーダ用のカメラ)、人が携行するカメラ(例えば、スマートホンのカメラ)、などである。
FIG. 1 is a diagram showing an example of a hardware configuration of a system including the relative
相対位置検出装置10は、例えば、コンピュータである。図1に示されるように、相対位置検出装置10は、プロセッサとしての中央演算装置(CPU)1001と、一時的に情報を記憶する記憶部としてのランダムアクセスメモリ(RAM)1002と、情報を記憶する記憶部としてのリードオンリーメモリ(ROM)1003と、カメラ41、42、43、44、…と接続されるインタフェースとしてのセンサ入出力部(センサIO)1004と、サーバ60と接続されるインタフェースとしてのカメラ情報入出力部(カメラ情報IO)1005と、これらを接続するバス1006とを有している。
The relative
相対位置検出装置10は、汎用のコンピュータに限定されるものではなく、例えば、組込機器、ECU(電子制御ユニット)、FPGA(Field-Programmable Gate Array)ボード、GPU(Graphics Processing Unit)ボード、などの一部であってもよい。
The relative
図1は、相対位置検出装置10に、複数のカメラとサーバ60とが接続されている構成を示しているが、カメラ41、42、43、44、…をサーバ60に接続し、相対位置検出装置10は、サーバ60から映像情報を受信してもよい。また、複数のカメラ41、42、43、44、…と、サーバ60と、相対位置検出装置10とは、ネットワークを介して互いに接続されてもよい。
FIG. 1 shows a configuration in which a plurality of cameras and a
図2は、相対位置検出装置10に映像を提供するカメラの使用状態の例を示す図である。図2は、固定カメラ(例えば、A、B、…)によって撮影された映像と、路面70上を移動物体80に搭載された移動カメラCによって撮影された映像とが相対位置検出装置10に提供される例を示している。
FIG. 2 is a diagram showing an example of a usage state of a camera that provides an image to the relative
図3は、相対位置検出装置10に映像を提供するカメラの使用状態の他の例を示す図である。図3は、固定カメラ(例えば、A、B、…)によって撮影された映像と、路面70上を歩行している人81が持ち運ぶ移動カメラCによって撮影された映像とが相対位置検出装置10に提供される例を示している。なお、図2及び図3における固定カメラと移動カメラとは、図1における、カメラ41、42、43、44、…のいずれかである。
FIG. 3 is a diagram showing another example of the usage state of the camera that provides the image to the relative
図4は、相対位置検出装置10の構成を概略的に示す機能ブロック図である。相対位置検出装置10は、実施の形態1に係る相対位置検出方法を実施することができる装置である。図4に示されるように、相対位置検出装置10は、映像受信部110と、カメラ判定部120と、対応画像探索部130と、固定カメラと移動カメラとの間の相対位置を算出する第1の相対位置算出部140とを有している。また、相対位置検出装置10は、移動カメラの位置を算出する移動カメラ位置算出部150と、固定カメラ間の相対位置を算出する第2の相対位置算出部160とを有している。相対位置検出装置10は、例えば、図1に示されるソフトウェアである相対位置検出プログラムを記憶するRAM1002と、相対位置検出プログラムを実行するCPU1001とによって実現される。
FIG. 4 is a functional block diagram schematically showing the configuration of the relative
映像受信部110は、相対位置検出装置10に接続された複数のカメラ41、42、43、…によって撮影された複数の映像を受信して、映像と時刻とカメラと特定する情報(例えば、識別番号)とを互いに関連付けて保持する。
The
カメラ判定部120は、複数のカメラ41、42、43、…によって撮影された複数の映像の各々が、固定カメラ(例えば、図2及び図3におけるA,B)によって撮影された映像であるか移動カメラ(例えば、図2及び図3におけるC)によって撮影された映像であるかを判定する。例えば、カメラ判定部120は、撮影された映像内において時系列に並ぶ複数枚の画像(すなわち、複数コマの画像)の間の差分(すなわち、2枚の画像の画素値の差分)を抽出し、画像間の差分が予め決められた基準値より小さい映像を提供するカメラを固定カメラと判定し、画像間の差分が前記基準値以上であるカメラを移動カメラと判定する。これは、固定カメラによって撮影される映像における背景部分は変化しないため時系列に並ぶ複数枚の画像の間の差分は小さいが、移動カメラによって撮影される映像における背景部分は変化するため時系列に並ぶ複数枚の画像の間の差分は大きいことを利用した判定方法である。また、カメラ判定部120は、オプティカルフローの検出領域が予め決められた基準値よりも小さい映像を提供するカメラを固定カメラと判定し、オプティカルフローの検出領域が前記基準値以上である映像を提供するカメラを移動カメラと判定してもよい。
In the
対応画像探索部130は、図2及び図3における時刻t1のときに撮影された映像に基づいて、複数のカメラ41、42、…のうちの第1の固定カメラAによって撮影された第1の映像P1の撮影方向とそのときに移動カメラCによって撮影された第2の映像P2の撮影方向とを近づける(望ましくは、一致させる)第1の変換処理を行う。また、対応画像探索部130は、図2及び図3の時刻t2のときに撮影された映像に基づいて、複数のカメラ41、42、…のうちの第2の固定カメラBによって撮影された第3の映像P3の撮影方向とそのときに移動カメラCによって撮影された第4の映像P4の撮影方向とを近づける(望ましくは、一致させる)第2の変換処理を行う。第1の変換処理及び第2の変換処理は、撮影方向を変更する画像変換処理である撮影方向変更処理、又は視点位置を変更する画像変換処理である視点変更処理である。
The corresponding
対応画像探索部130は、第1の変換処理の後に、第1の固定カメラAによって撮影された第1の映像P1に含まれる複数枚の第1の画像と第2の映像P2に含まれる複数枚の第2の画像とのうちの、同一の第1の空間領域内で撮影された、互いの類似度が予め決められた閾値以上である第1の対応画像部分(例えば、後述の図10(A)における物体71)を含む第1の画像と第2の画像とを検出する第1の検出処理を行う。また、対応画像探索部130は、第2の変換処理の後に、第2の固定カメラBによって撮影された第3の映像P3に含まれる複数枚の第3の画像と第4の映像P4に含まれる複数枚の第4の画像とのうちの、同一の第2の空間領域内で撮影された、互いの類似度が予め決められた閾値以上である第2の対応画像部分(例えば、後述の図10(A)における物体72)を含む第3の画像と第4の画像とを検出する第2の検出処理を行う。
After the first conversion process, the corresponding
第1の検出処理は、第1の固定カメラAによって撮影された第1の映像P1の複数枚の画像と移動カメラCによって撮影された第2の映像P2の複数枚の画像との類似性を評価して、これらが画像マッチングの対象画像であるか否かを判定する画像探索処理である。第2の検出処理は、第2の固定カメラBによって撮影された第3の映像P3の複数枚の画像と移動カメラCによって撮影された第4の映像P4の複数枚の画像との類似性を評価して、これらが画像マッチングの対象画像であるか否かを判定する画像探索処理である。 The first detection process determines the similarity between the plurality of images of the first image P1 taken by the first fixed camera A and the plurality of images of the second image P2 taken by the moving camera C. This is an image search process that evaluates and determines whether or not these are target images for image matching. The second detection process determines the similarity between the plurality of images of the third image P3 taken by the second fixed camera B and the plurality of images of the fourth image P4 taken by the moving camera C. This is an image search process that evaluates and determines whether or not these are target images for image matching.
第1の相対位置算出部140は、第1の固定カメラAと第1の対応画像部分を含む第2の画像を撮影したとき(例えば、図2及び図3における時刻t1)の移動カメラCとの間の第1の相対位置を算出する。第1の相対位置は、相対位置だけでなく相対姿勢を含む。また、第1の相対位置算出部140は、第2の固定カメラBと第2の対応画像部分を含む第2の画像を撮影したとき(例えば、図2及び図3における時刻t2)の移動カメラCとの間の第2の相対位置を算出する。第2の相対位置は、相対位置だけでなく相対姿勢を含む。第1の相対位置算出部140は、対応画像探索部130によって探索された画像を使用して、画像内の特徴点から類似する特徴のある対応点を検出し、探索された画像内の対応点の位置関係から第1の相対位置及び第2の相対位置を算出する。第1の相対位置算出部140は、例えば、8点アルゴリズム又は5点アルゴリズムなどを用いて第1の相対位置及び第2の相対位置を算出する。
The first relative
移動カメラ位置算出部150は、移動カメラCによって撮影された第2の映像P2に基づいて移動カメラCの位置情報を算出する。また、移動カメラ位置算出部150は、移動カメラCによって撮影された第4の映像P4に基づいて移動カメラCの位置情報を算出する。移動カメラCの位置情報は、移動カメラCの姿勢情報を含むことができる。移動カメラ位置算出部150は、例えば、移動カメラCによって撮影された第2の映像P2及び第4の映像P4において時系列に並ぶ複数枚の画像における対応点を検出し、その対応点の位置関係に基づいて移動カメラCの位置と姿勢を算出することができる。移動カメラCの位置と姿勢を算出する方法としては、例えば、Visual-SLAM(Simultaneous Localization and Mapping)がある。
The moving camera
第2の相対位置算出部160は、第1の相対位置と、第2の相対位置と、移動カメラ位置算出部150によって算出された移動カメラCの位置情報(例えば、時刻t1における位置情報及び時刻t2における位置情報)とに基づいて、第1の固定カメラAと第2の固定カメラBとの間の相対位置である第3の相対位置を算出する。第3の相対位置は、相対位置だけでなく相対姿勢を含む。
The second relative
図5は、相対位置検出装置10の対応画像探索部130の構成を概略的に示す機能ブロック図である。図5に示されるように、対応画像探索部130は、固定カメラ用の第1の路面検出部131と、移動カメラ用の第2の路面検出部132と、撮影方向変換部133と、類似画像検出部134とを有している。
FIG. 5 is a functional block diagram schematically showing the configuration of the corresponding
第1の路面検出部131及び第2の路面検出部132は、互いに異なる路面検出手法を用いる。第1の路面検出部131は、固定カメラの撮影領域内で移動物体が撮影された際に、移動物体の下部構造(例えば、人の足、車両の車輪、など)の底面の移動軌跡を算出し、これに基づいて基準平面である路面を検出する。
The first road
第2の路面検出部132は、SLAM、SfM(Structure from Motion)などによる時系列に並ぶ複数枚の画像から3次元情報を復元し、その3次元情報に基づいて基準平面である路面を検出する。例えば、第2の路面検出部132は、移動カメラによって撮影された映像に含まれる画像(すなわち、移動カメラの撮影画像)の下部にある平面を路面と判断する。或いは、第2の路面検出部132は、IMU(inertial measurement unit)センサなどによって検出された重力加速度の方向に基づいて路面を推定してもよい。 The second road surface detection unit 132 restores three-dimensional information from a plurality of images arranged in time series by SLAM, SfM (Structure from Motion), etc., and detects the road surface which is the reference plane based on the three-dimensional information. .. For example, the second road surface detection unit 132 determines that the plane below the image included in the image captured by the mobile camera (that is, the image captured by the mobile camera) is the road surface. Alternatively, the second road surface detection unit 132 may estimate the road surface based on the direction of the gravitational acceleration detected by an IMU (inertial measurement unit) sensor or the like.
撮影方向変換部133は、固定カメラによって撮影された映像に含まれる画像(すなわち、固定カメラの撮影画像)内に映る路面から固定カメラと路面の相対位置を算出し、平面射影変換により、固定カメラの撮影画像を路面上方から撮影した画像に変換する。撮影方向変換部133は、移動カメラの撮影画像に基づいて3次元情報を復元した際に、移動カメラと路面との相対位置が算出済みであるため、移動カメラの視点位置を路面上方へ移動する画像変換を行う。なお、撮影方向変換部133は、路面上方から撮影した画像への変換に代えて、移動カメラの撮影画像の撮影方向を固定カメラの撮影画像の撮影方向に近づける(望ましくは、一致させる)ように移動カメラの撮影画像を変換してもよい。また、撮影方向変換部133は、固定カメラの撮影画像の撮影方向を移動カメラの撮影画像の撮影方向に近づける(望ましくは、一致させるように)固定カメラの撮影画像を画像変換してもよい。
The shooting
類似画像検出部134は、画像変換した固定カメラの撮影画像と移動カメラの撮影画像との類似性を評価して、画像マッチングする(すなわち、対応する)画像を探索する。以上に説明したように、複数のカメラで撮影された映像が異なる撮影方向で撮影した映像であっても、撮影方向を近づける(望ましくは、一致させる)映像に変換し、その後、類似画像を検出できるので、カメラ間の対応画像を少ない情報処理量で高精度に探索することが可能である。
The similar
図6(A)~(C)は、第1の路面検出部131の動作を示す図である。図6(A)~(C)は、第1の固定カメラAの撮影画像に基づく路面検出方法を示している。第1の路面検出部131は、図6(A)に示されるように、第1の固定カメラAの撮影領域内で移動物体80が撮影された際に、図6(B)及び(C)に示される移動物体80の下部の底面(すなわち、車輪の接触点)が移動する画像位置を算出して、移動する画像位置を含む平面を路面70として検出する。なお、第1の路面検出部131は、他の固定カメラの撮影画像に基づいて、同様の手法によって路面70を検出する。なお、第1の映像P1に基づいて検出された路面70は「第1の路面」とも言い、第3の映像P3に基づいて検出された路面70は「第3の路面」とも言う。
6 (A) to 6 (C) are views showing the operation of the first road
図7(A)~(D)は、第2の路面検出部132の動作を示す図である。移動カメラCの撮影画像に基づく路面検出方法を示す図である。第2の路面検出部132は、図7(A)に示されるように、移動カメラCの撮影領域内で物体71が撮影された際に、図7(B)及び(C)に示される時系列の撮影画像を取得し、Visual-SLAM、SfM、などによって、時系列の撮影画像から図7(D)に示される3次元情報を復元し、この3次元情報から路面70を検出する。なお、第2の映像P2に基づいて検出された路面70は「第2の路面」とも言い、第4の映像P4に基づいて検出された路面70は「第4の路面」とも言う。
7 (A) to 7 (D) are diagrams showing the operation of the second road surface detection unit 132. It is a figure which shows the road surface detection method based on the photographed image of a moving camera C. As shown in FIG. 7A, when the
図8(A)~(D)は、図5に示される撮影方向変換部133によって行われる処理の例を示す図である。撮影方向変換部133は、図8(A)に示されるように第1の固定カメラAの撮影画像内に映る路面70の位置から第1の固定カメラAと路面70の相対位置を算出し、図8(B)に示されるように第1の固定カメラAの撮影画像を平面射影変換によって路面70の上方から撮影した画像へ変換する。また、撮影方向変換部133は、他の固定カメラの撮影画像をも同様に変換する。
8 (A) to 8 (D) are diagrams showing an example of processing performed by the photographing
撮影方向変換部133は、図8(C)に示されるように移動カメラCの撮影画像から3次元形状を復元した際には、移動カメラCと路面70との相対位置が算出済みであるため、図8(D)に示されるように3次元形状を用いて移動カメラCの視点位置を上方へ移動することで、移動カメラCの撮影画像を路面上方から撮影した画像へ変換する。これらの処理によって、図8(B)及び(D)に示されるように、撮影方向が一致する。ただし、固定カメラの画像情報を平面射影変換によって画像変換すると、路面の平面部分は、正確に画像変換されるが、平面部分から外れた3次元形状の物体71の画像変換に誤差が生じる。
As shown in FIG. 8C, when the shooting
図9(A)~(C)は、図5に示される撮影方向変換部133によって行われる処理の他の例を示す図である。撮影方向変換部133は、路面上方から撮影した画像への変換に代えて、図9(B)に示される移動カメラCの撮影画像の撮影方向を、図9(A)に示される第1の固定カメラAの撮影方向と一致するように、図9(C)に示されるように、移動カメラCの撮影画像を変換する。同様に、撮影方向変換部133は、移動カメラCの撮影画像の撮影方向を、他の固定カメラの撮影方向と一致するように、移動カメラCの撮影画像を変換する。この場合、移動カメラCの視点移動は、3次元形状の物体71が計測済みであるため、路面の平面部分だけでなく3次元形状の物体71も正確に画像変換される。
9 (A) to 9 (C) are diagrams showing other examples of the processing performed by the photographing
図10(A)~(D)は、図5に示される類似画像検出部134によって行われる処理を示す図である。類似画像検出部134は、撮影方向変換部133で画像変換した第1の固定カメラAの撮影画像と移動カメラCの撮影画像との類似性を評価して、画像マッチングする画像情報を探索する。また、類似画像検出部134は、撮影方向変換部133で画像変換した他の固定カメラの撮影画像と移動カメラCの撮影画像との類似性をも評価して、画像マッチングする画像情報を探索する。類似性の評価は、類似性を数値化した類似度が、予め決められた閾値以上であるか否かを判定することで行われる。また、類似度が閾値以上の画像同士の相対位置が検出される。
10 (A) to 10 (D) are diagrams showing the processing performed by the similar
類似性の評価手法の一例としては、Bags Of Visual Wordsが挙げられる。固定カメラと移動カメラの撮影画像内から特徴点を抽出する特徴点の抽出方法としては、ORB(Oriented FAST and Rotated BRIEF)又はAKAZE(Accelerated KAZE)などが知られている。類似画像検出部134は、例えば、図10(A)に示されるように、第1の固定カメラAによって撮影された映像(例えば、第1の映像P1及び第3の映像P3)及びに移動カメラCによって撮影された映像(例えば、第2の映像P2及び第4の映像P4)に基づいて、特徴量ごとに撮影画像内の特徴点を分類し、図10(B)~(D)に示されるように、各特徴量の特徴点数を計測してヒストグラムを作成する。類似画像検出部134は、ヒストグラムが近い撮影画像は、互いの類似度が高いと評価する。例えば、類似画像検出部134は、互いの類似度が予め決められた閾値以上である撮影画像は、互いに類似画像として検出する。また、類似画像検出部134は、第1の固定カメラAの変換後の撮影画像と移動カメラCの変換後の撮影画像で、特徴量の類似度が高い特徴点を検出して画像マッチングすることで、固定カメラと移動カメラの画像情報同士の対応点を検出できる。
As an example of the similarity evaluation method, Bags Of Visual Words can be mentioned. As a method for extracting feature points from images taken by a fixed camera and a moving camera, ORB (Oriented FAST and Rotated BRIEF) or AKAZE (Accelerated KAZE) is known. The similar
以上のように、複数のカメラの撮影画像は、撮影方向が一致した撮影画像に変換されるので、類似画像の探索の精度が向上する。 As described above, the images captured by the plurality of cameras are converted into images captured in the same shooting direction, so that the accuracy of searching for similar images is improved.
図11は、相対位置検出装置10の動作を示すフローチャートである。先ず、映像受信部110は、複数のカメラ41、42、43、…によって撮影された複数の映像を受信する(ステップS1)。次に、カメラ判定部120は、複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定する(ステップS2)。
FIG. 11 is a flowchart showing the operation of the relative
次に、対応画像探索部130は、第1の固定カメラAによって撮影された第1の映像P1の撮影方向と移動カメラCによって撮影された第2の映像P2の撮影方向とを近づける第1の変換処理を行い、第1の変換処理の後に、第1の映像P1に含まれる複数枚の撮影画像である第1の画像と第2の映像P2に含まれる複数枚の撮影画像である第2の画像とのうちの、同一の第1の空間領域内で撮影された、互いの類似度が予め決められた閾値以上である第1の対応画像部分を含む第1の画像と第2の画像とを検出する第1の検出処理を行う。また、対応画像探索部130は、同様の処置を第2の固定カメラBについて行う(ステップS3)。
Next, the corresponding
次に、第1の相対位置算出部140は、第1の固定カメラAと第1の対応画像部分を含む第2の画像を撮影したときの移動カメラCとの間の第1の相対位置を算出する。第1の相対位置算出部140は、同様の処置を第2の固定カメラBについて行い、第2の相対位置を算出する(ステップS4)。
Next, the first relative
次に、移動カメラ位置算出部150は、移動カメラCによって撮影された映像(例えば、第2の映像P2及び第4の映像P4)に基づいて、例えば、SLAMなどの方法によって、移動カメラCの位置を算出する(ステップS5)。
Next, the moving camera
次に、第2の相対位置算出部160は、第1の相対位置と、第2の相対位置と、移動カメラ位置算出部150によって算出された移動カメラCの位置とに基づいて、2つの固定カメラ(例えば、第1の固定カメラAと第2の固定カメラB)との間の相対位置である第3の相対位置を算出する(ステップS6)。
Next, the second relative
図12は、相対位置検出装置10の対応画像探索部130の動作を示すフローチャートである。対応画像探索部130は、第1の固定カメラAによって撮影された第1の映像P1に基づいて路面を検出し、第2の固定カメラBによって撮影された第3の映像P3に基づいて路面を検出し(ステップS11)、検出された路面に基づいて第1の固定カメラAの撮影方向と第2の固定カメラBの撮影方向とを検出する(ステップS12)。
FIG. 12 is a flowchart showing the operation of the corresponding
次に、対応画像探索部130は、移動カメラCによって撮影された第2の映像P2及び第4の映像P4に基づいて路面を検出し、検出された路面に基づいて移動カメラCの第2の映像P2の撮影方向及び第4の映像P4の撮影方向を検出し(ステップS13)、第1の固定カメラAの撮影方向、第2の固定カメラの撮影方向、及び移動カメラCの撮影方向に基づいて、第1及び第2の変換処理を行う(ステップS14)。次に、対応画像探索部130は、変換処理後に、対応画像部分の類似度を算出し、類似度が予め決められた閾値以上の対応画像部分を含む画像を検出する第1及び第2の検出処理を行う(ステップS15)。
Next, the corresponding
以上に説明したように、実施の形態1に係る相対位置検出装置10によれば、複数のカメラで異なる撮影方向から撮影した映像情報であっても、画像変換することで撮影方向を互いに近づける(望ましくは、一致させる)変換処理を実行し、その後、類似画像を検出するので、固定カメラと移動カメラとの対応画像を探索することが可能である。その結果、相対位置検出装置10は、固定カメラと移動カメラとの間の相対位置である第1及び第2の相対位置を検出することができる。また、相対位置検出装置10は、第1及び第2の相対位置と移動カメラの位置とに基づいて固定カメラ間の相対位置である第3の相対位置を検出することができる。
As described above, according to the relative
実施の形態2
図13は、実施の形態2に係る相対位置検出装置20の構成を概略的に示す機能ブロック図である。図13において、図4に示される構成要素と同一又は対応する構成要素には、図4に示される符号と同じ符号が付されている。相対位置検出装置20は、実施の形態2に係る相対位置検出方法を実施することができる装置である。相対位置検出装置20は、実施の形態1における第1の路面検出部131、第2の路面検出部132、及び撮影方向変換部133に代えて、拡大縮小率変換部231を備えた点が、実施の形態1に係る相対位置検出装置10と異なる。ただし、相対位置検出装置20は、実施の形態1における第1の路面検出部131、第2の路面検出部132、及び撮影方向変換部133に加えて、拡大縮小率変換部231を備えてもよい。Embodiment 2
FIG. 13 is a functional block diagram schematically showing the configuration of the relative position detection device 20 according to the second embodiment. In FIG. 13, the same or corresponding components as those shown in FIG. 4 are designated by the same reference numerals as those shown in FIG. The relative position detection device 20 is a device capable of implementing the relative position detection method according to the second embodiment. The relative position detection device 20 includes the enlargement / reduction
対応画像探索部230の拡大縮小率変換部231は、第1の固定カメラAによって撮影された第1の映像P1と移動カメラCによって撮影された第2の映像P2とに基づいて第1の映像P1の第1の拡大縮小率(すなわち、第1のスケール)と第2の映像P2の第2の拡大縮小率(すなわち、第2のスケール)とを決定し、第1の拡大縮小率を用いて第1の映像P1を拡大縮小処理し、第2の拡大縮小率を用いて第2の映像P2を拡大縮小処理する第1の拡大縮小処理を行い、第1の拡大縮小処理の後に実施の形態1で説明した第1の検出処理を行う。また、拡大縮小率変換部231は、第2の固定カメラBによって撮影された第3の映像P3と移動カメラCによって撮影された第4の映像P4とに基づいて第3の映像P3の第3の拡大縮小率(すなわち、第3のスケール)と第4の映像P4の第4の拡大縮小率(すなわち、第4のスケール)とを決定し、第3の拡大縮小率を用いて第3の映像P3を拡大縮小処理し、第4の拡大縮小率を用いて第4の映像P4を拡大縮小処理する第2の拡大縮小処理を行い、第2の拡大縮小処理の後に実施の形態1で説明した第2の検出処理を行う。
The enlargement / reduction
具体的に言えば、対応画像探索部230は、固定カメラの撮影画像のスケール(すなわち、長さ基準)と移動カメラの撮影画像とのスケールとを互いに近づける(望ましくは、互いに一致させる)ように、撮影画像の拡大縮小率を設定する。例えば、移動物体の移動距離が算出可能な場合は、対応画像探索部230は、固定カメラの撮影画像内に映る移動物体の移動範囲(すなわち、撮影画像における移動長さ)と算出された移動物体の移動距離(すなわち、現実の移動距離)とに基づいて、固定カメラの撮影画像のスケールを算出する。また、対応画像探索部230は、移動カメラの撮影画像のスケールを、例えば、SLAMによって得られた移動カメラの移動結果と算出された移動物体の移動距離とを比較することで算出することができる。
Specifically, the corresponding
類似画像検出部134は、拡大縮小処理された固定カメラの撮影画像と拡大縮小処理された移動カメラの撮影画像との類似性を評価して、画像マッチングする画像を探索する。類似画像検出部134による類似画像の検出処理は、実施の形態1のものと同様である。
The similar
以上のように、実施の形態2では、複数のカメラの撮影画像は、スケールが一致した撮影画像に変換した後に、類似性が評価されるので、類似画像の検出の精度が向上する。 As described above, in the second embodiment, the images captured by the plurality of cameras are converted into captured images having the same scale, and then the similarity is evaluated, so that the accuracy of detecting similar images is improved.
図14(A)~(D)は、図13に示される拡大縮小率変換部231によって行われる処理を示す図である。拡大縮小率変換部231は、固定カメラの撮影画像のスケールと移動カメラの撮影画像のスケールとを互いに近づける(望ましくは、互いに一致させる)ために拡大縮小処理を行う。図14(A)に示されるように、移動物体80の移動距離が検出可能な場合には、拡大縮小率変換部231は、図14(B)に示される第1の固定カメラAの撮影画像内に映る移動物体80の移動範囲と移動物体80の移動距離とに基づいて、第1の固定カメラAの拡大縮小率を算出する。拡大縮小率変換部231は、第1の固定カメラAの撮影画像を路面上方から撮影した画像へ変換する。拡大縮小率変換部231は、この画像上で移動物体80が移動した移動範囲と、移動物体80の現実の移動距離とを比較することで、路面位置における撮影画像の拡大縮小率を算出することができる。拡大縮小率変換部231は、第2の固定カメラBの撮影画像の拡大縮小率も、同様に算出する。
14 (A) to 14 (D) are diagrams showing the processing performed by the enlargement / reduction
拡大縮小率変換部231は、移動物体80の移動距離が検出不能な場合には、図14(C)及び(D)に示されるように、移動カメラの映像情報を用いたVisual-SLAMによって、移動カメラの移動距離を算出してもよい。図14(C)及び(D)の場合には、拡大縮小率変換部231は、図14(A)及び(B)の場合と同様に、固定カメラの撮影画像を路面上方から撮影した画像情報へ変換することで、固定カメラの画像拡大縮小率を算出することができる。
When the moving distance of the moving
図15は、図13に示される対応画像探索部230の動作を示すフローチャートである。先ず、拡大縮小率変換部231は、固定カメラによって撮影された映像に基づいて移動している物体(例えば、移動中の移動物体である人、車両、など)を検出し、その移動情報を取得する(ステップS21)。次に、拡大縮小率変換部231は、図14(C)及び(D)に示されるように、移動カメラで撮影された映像に基づいて移動カメラの移動情報を算出する(ステップS22)。
FIG. 15 is a flowchart showing the operation of the corresponding
次に、拡大縮小率変換部231は、移動物体の移動情報と移動カメラの移動情報とに基づいて固定カメラと移動カメラの撮影画像の拡大縮小率を算出する(ステップS23)。次に、拡大縮小率変換部231は、算出された拡大縮小率を用いて画像の拡大縮小処理を行う(ステップS24)。この拡大縮小処理は、上記した第1及び第2の拡大縮小処理である。次に、拡大縮小率変換部231は、実施の形態1で説明した第1及び第2の検出処理を行う(ステップS25)。
Next, the enlargement / reduction
以上に説明したように、実施の形態2に係る相対位置検出装置20によれば、複数のカメラで撮影した映像を拡大縮小処理した後に、類似画像を検出するので、固定カメラと移動カメラとの対応画像を探索することが可能である。その結果、相対位置検出装置20は、固定カメラと移動カメラとの間の相対位置である第1及び第2の相対位置を検出することができる。また、相対位置検出装置20は、第1及び第2の相対位置と移動カメラの位置とに基づいて固定カメラ間の相対位置である第3の相対位置を検出することができる。 As described above, according to the relative position detection device 20 according to the second embodiment, since the similar image is detected after the images taken by the plurality of cameras are enlarged / reduced, the fixed camera and the moving camera are used. It is possible to search for the corresponding image. As a result, the relative position detection device 20 can detect the first and second relative positions, which are the relative positions between the fixed camera and the moving camera. Further, the relative position detection device 20 can detect a third relative position, which is a relative position between the fixed cameras, based on the first and second relative positions and the position of the moving camera.
なお、上記以外の点に関し、実施の形態2は、実施の形態1と同じである。 In addition, regarding the points other than the above, the second embodiment is the same as the first embodiment.
実施の形態3
図16は、実施の形態3に係る相対位置検出装置30の構成を概略的に示す機能ブロック図である。図16において、図4に示される構成要素と同一又は対応する構成要素には、図4に示される符号と同じ符号が付されている。相対位置検出装置30は、実施の形態3に係る相対位置検出方法を実施することができる装置である。実施の形態3に係る相対位置検出装置30は、実施の形態1における第1の路面検出部131、第2の路面検出部132、及び撮影方向変換部133に代えて、画像選定部331を備えた点が、実施の形態1に係る相対位置検出装置10と異なる。ただし、相対位置検出装置30は、実施の形態1における第1の路面検出部131、第2の路面検出部132、及び撮影方向変換部133に加えて、画像選定部331を備えてもよい。また、相対位置検出装置30は、実施の形態2における拡大縮小率変換部231に加えて、画像選定部331を備えてもよい。Embodiment 3
FIG. 16 is a functional block diagram schematically showing the configuration of the relative position detection device 30 according to the third embodiment. In FIG. 16, components that are the same as or correspond to the components shown in FIG. 4 are designated by the same reference numerals as those shown in FIG. The relative position detection device 30 is a device capable of implementing the relative position detection method according to the third embodiment. The relative position detection device 30 according to the third embodiment includes an
相対位置検出装置30の対応画像探索部330は、画像選定部331と、類似画像検出部134とを有している。画像選定部331は、固定カメラの撮影画像から、画像マッチングに使用する画像を選定する。
The corresponding
例えば、画像選定部331は、第1の固定カメラAによって撮影された第1の映像P1において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第1の候補画像を抽出し、複数枚の第1の候補画像から第1の対応画像部分を含む第1の画像(例えば、図10(B)に示される)を検出する。また、画像選定部331は、移動カメラCによって撮影された第2の映像P2において第1の固定カメラAが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第2の候補画像を抽出し、複数枚の第2の候補画像から第1の対応画像部分を含む記第2の画像(例えば、図10(C)に示される)を検出する。第1の対応画像部分は、例えば、図10(A)に示される物体71を撮影して得られる画像部分である。
For example, the
また、画像選定部331は、第2の固定カメラBによって撮影された第3の映像P3において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第3の候補画像を抽出し、複数枚の第3の候補画像から第2の対応画像部分を含む第3の画像を検出する。また、画像選定部331は、移動カメラCによって撮影された第4の映像P4において第2の固定カメラBが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第4の候補画像を抽出し、複数枚の第4の候補画像から第2の対応画像部分を含む第4の画像(例えば、図10(D)に示される)を検出する。第2の対応画像部分は、例えば、図10(A)に示される物体72を撮影して得られる画像部分である。
Further, the
類似画像検出部134は、固定カメラの撮影画像と移動カメラの撮影画像との類似性を評価して、画像マッチングする画像を探索する。類似画像検出部134による類似画像の検出処理は、実施の形態1又は2のものと同様である。
The similar
以上のように、実施の形態3では、類似画像の検索対象となる画像量を削減できるので、類似画像の検出精度と処理速度が向上する。 As described above, in the third embodiment, the amount of images to be searched for similar images can be reduced, so that the detection accuracy and processing speed of similar images are improved.
図17(A)~(C)は、図16に示される画像選定部331によって行われる処理を示す図である。画像選定部331は、図17(A)に示されるように、第1の固定カメラAの撮影画像から類似画像の検出対象となる画像を選定する。画像選定部331は、第1の固定カメラAの撮影領域内に移動している物体が存在する時間の前後に撮影した画像を画像マッチングの対象画像と選定する。画像選定部331は、図17(B)に示されるように、第1の固定カメラAの撮影画像の差分に基づいて、第1の固定カメラAの撮影画像に、移動している物体があることを検出する。次に、画像選定部331は、図17(C)に示されるように、第1の固定カメラAの撮影画像に、移動している物体があることが検出された時刻の前後の予め決められた時間範囲内の撮影画像を候補画像(すなわち、複数枚の第1の候補画像)として選定する。画像選定部331は、第2の固定カメラBの撮影画像についても、同様の処理を行って、候補画像(すなわち、複数枚の第3の候補画像)を選定する。
17 (A) to 17 (C) are diagrams showing the processing performed by the
図18(A)及び(B)は、図16に示される対応画像探索部330の動作を示すフローチャートである。移動カメラCがドライブレコーダ等のカメラであることが既知である場合、図18(A)に示されるように、画像選定部331は、固定カメラの撮影画像内に車両などの移動している物体が検出された時刻を抽出し保持し(ステップS31)、移動している物体を検出した時刻の前後の予め決められた時間範囲内の画像を画像マッチングの対象画像である候補画像(例えば、複数枚の第1の候補画像、及び複数枚の第3の候補画像)として選定する(ステップS32)。次に、類似画像検出部134は、候補画像を用いて類似度を算出し、類似度が予め決められた閾値以上の画像を検出する(ステップS33)。
18 (A) and 18 (B) are flowcharts showing the operation of the corresponding
また、図18(B)に示されるように、画像選定部331は、移動カメラCによって撮影された映像に基づいて、第1の固定カメラAが検出された時刻を抽出し保持し(ステップS41)、第1の固定カメラAを検出した時刻の前後の予め決められた時間範囲内の画像を画像マッチングの対象画像である候補画像(例えば、複数枚の第2の候補画像)として選定する(ステップS42)。画像選定部331は、移動カメラCによって撮影された映像に第2の固定カメラBが検出された際にも、同様の処理を行って、候補画像(例えば、複数枚の第4の候補画像)を選定する。次に、類似画像検出部134は、候補画像を用いて類似度を算出し、類似度が予め決められた閾値以上の画像を検出する(ステップS43)。
Further, as shown in FIG. 18B, the
以上に説明したように、実施の形態3に係る相対位置検出装置20によれば、複数のカメラで撮影した映像に含まれる複数枚の撮影画像の一部についてのみ類似画像を検出する処理を行うので、固定カメラと移動カメラとの対応画像の探索処理の情報処理量を削減することが可能である。 As described above, according to the relative position detection device 20 according to the third embodiment, a process of detecting a similar image is performed only for a part of a plurality of captured images included in the images captured by the plurality of cameras. Therefore, it is possible to reduce the amount of information processing in the search processing of the corresponding image between the fixed camera and the moving camera.
なお、上記以外の点に関し、実施の形態3は、実施の形態1又は2と同じである。 In addition, regarding the points other than the above, the third embodiment is the same as the first or second embodiment.
10、20、30 相対位置検出装置、 41、42、43、44、… カメラ、 60 サーバ、 70 路面、 71、72 物体、 80 移動物体、 110 映像受信部、 120 カメラ判定部、 130、230、330 対応画像探索部、 131 第1の路面検出部、 132 第2の路面検出部、 133 撮影方向変換部、 134 類似画像検出部、 140 第1の相対位置算出部、 150 移動カメラ位置算出部、 160 第2の相対位置算出部、 231 拡大縮小率変換部、 331 画像選定部、 A 第1の固定カメラ、 B 第2の固定カメラ、 C 移動カメラ、 P1 第1の映像、 P2 第2の映像、 P3 第3の映像、 P4 第4の映像。 10, 20, 30 Relative position detector, 41, 42, 43, 44, ... Camera, 60 server, 70 road surface, 71, 72 objects, 80 moving objects, 110 image receiver, 120 camera judgment unit, 130, 230, 330 Corresponding image search unit, 131 1st road surface detection unit, 132 2nd road surface detection unit, 133 shooting direction conversion unit, 134 similar image detection unit, 140 1st relative position calculation unit, 150 mobile camera position calculation unit, 160 2nd relative position calculation unit, 231 enlargement / reduction ratio conversion unit, 331 image selection unit, A 1st fixed camera, B 2nd fixed camera, C mobile camera, P1 1st image, P2 2nd image , P3 3rd image, P4 4th image.
Claims (9)
前記複数のカメラのうちの第1の固定カメラによって撮影された第1の映像の撮影方向と前記移動カメラによって撮影された第2の映像の撮影方向とを近づける第1の変換処理を行い、前記第1の変換処理の後に、前記第1の映像に含まれる複数枚の第1の画像と前記第2の映像に含まれる複数枚の第2の画像とのうちの互いの類似度が予め決められた閾値以上である第1の対応画像部分を含む第1の画像及び第2の画像を検出する第1の検出処理を行う対応画像探索部と、
前記第1の固定カメラと前記第1の対応画像部分を含む前記第2の画像を撮影したときの前記移動カメラとの間の第1の相対位置を算出する第1の相対位置算出部と、
前記移動カメラの位置を算出する移動カメラ位置算出部と、
第2の相対位置算出部と、
を有し、
前記対応画像探索部は、
前記複数のカメラのうちの第2の固定カメラによって撮影された第3の映像の撮影方向と前記移動カメラによって撮影された第4の映像の撮影方向とを近づける第2の変換処理を行い、
前記第2の変換処理の後に、前記第3の映像に含まれる複数枚の第3の画像と前記第4の映像に含まれる複数枚の第4の画像とのうちの互いの類似度が予め決められた閾値以上である第2の対応画像部分を含む第3の画像及び第4の画像を検出する第2の検出処理を行い、
前記第1の相対位置算出部は、前記第2の固定カメラと前記第2の対応画像部分を含む前記第4の画像を撮影したときの前記移動カメラとの間の第2の相対位置を算出し、
前記第2の相対位置算出部は、前記第1の相対位置と、前記第2の相対位置と、前記移動カメラの位置とに基づいて、前記第1の固定カメラと前記第2の固定カメラとの間の相対位置である第3の相対位置を算出する
ことを特徴とする相対位置検出装置。 A camera determination unit that determines whether each of the plurality of images captured by the plurality of cameras is an image captured by a fixed camera or an image captured by a moving camera.
The first conversion process is performed to bring the shooting direction of the first image shot by the first fixed camera of the plurality of cameras closer to the shooting direction of the second image shot by the moving camera. After the first conversion process, the degree of similarity between the plurality of first images included in the first video and the plurality of second images included in the second video is predetermined. A corresponding image search unit that performs a first detection process for detecting a first image and a second image including a first corresponding image portion that is equal to or higher than a determined threshold.
A first relative position calculation unit that calculates a first relative position between the first fixed camera and the moving camera when the second image including the first corresponding image portion is taken.
The moving camera position calculation unit that calculates the position of the moving camera, and
The second relative position calculation unit and
Have,
The corresponding image search unit is
A second conversion process is performed to bring the shooting direction of the third image shot by the second fixed camera of the plurality of cameras closer to the shooting direction of the fourth image shot by the moving camera.
After the second conversion process, the degree of similarity between the plurality of third images included in the third video and the plurality of fourth images included in the fourth video is determined in advance. A second detection process for detecting the third image and the fourth image including the second corresponding image portion that is equal to or higher than the determined threshold value is performed.
The first relative position calculation unit calculates a second relative position between the second fixed camera and the moving camera when the fourth image including the second corresponding image portion is taken. death,
The second relative position calculation unit includes the first fixed camera and the second fixed camera based on the first relative position, the second relative position, and the position of the moving camera. Calculate the third relative position, which is the relative position between
A relative position detection device characterized by the fact that.
前記第1の映像内において第1の路面を検出し、前記第1の路面に基づいて前記第1の映像の撮影方向を検出し、前記第2の映像内において第2の路面を検出し、前記第2の路面に基づいて前記第2の映像の撮影方向を検出し、前記第1の映像の撮影方向と前記第2の映像の撮影方向とに基づいて前記第1の変換処理を行い、
前記第3の映像内において第3の路面を検出し、前記第3の路面に基づいて前記第3の映像の撮影方向を検出し、前記第4の映像内において第4の路面を検出し、前記第4の路面に基づいて前記第4の映像の撮影方向を検出し、前記第3の映像の撮影方向と前記第4の映像の撮影方向とに基づいて前記第2の変換処理を行う
ことを特徴とする請求項1に記載の相対位置検出装置。 The corresponding image search unit is
The first road surface is detected in the first image, the shooting direction of the first image is detected based on the first road surface, and the second road surface is detected in the second image. The shooting direction of the second image is detected based on the second road surface, and the first conversion process is performed based on the shooting direction of the first image and the shooting direction of the second image.
The third road surface is detected in the third image, the shooting direction of the third image is detected based on the third road surface, and the fourth road surface is detected in the fourth image. The shooting direction of the fourth image is detected based on the fourth road surface, and the second conversion process is performed based on the shooting direction of the third image and the shooting direction of the fourth image. The relative position detecting apparatus according to claim 1 .
前記第1の映像と前記第2の映像とに基づいて前記第1の映像の第1の拡大縮小率と前記第2の映像の第2の拡大縮小率とを決定し、前記第1の拡大縮小率を用いて前記第1の映像を拡大縮小処理し、前記第2の拡大縮小率を用いて前記第2の映像を拡大縮小処理する第1の拡大縮小処理を行い、
前記第1の拡大縮小処理の後に前記第1の検出処理を行い、
前記第3の映像と前記第4の映像とに基づいて前記第3の映像の第3の拡大縮小率と前記第4の映像の第4の拡大縮小率とを決定し、前記第3の拡大縮小率を用いて前記第3の映像を拡大縮小処理し、前記第4の拡大縮小率を用いて前記第4の映像を拡大縮小処理する第2の拡大縮小処理を行い、
前記第2の拡大縮小処理の後に前記第2の検出処理を行う
ことを特徴とする請求項1又は2に記載の相対位置検出装置。 The corresponding image search unit is
Based on the first image and the second image, the first enlargement / reduction ratio of the first image and the second enlargement / reduction rate of the second image are determined, and the first enlargement is performed. The first enlargement / reduction process is performed using the reduction ratio, and the first enlargement / reduction process for scaling the second image is performed using the second enlargement / reduction ratio.
After the first enlargement / reduction process, the first detection process is performed.
Based on the third image and the fourth image, the third enlargement / reduction ratio of the third image and the fourth enlargement / reduction rate of the fourth image are determined, and the third enlargement / reduction ratio is determined. The third image is scaled using the reduction ratio, and the fourth image is scaled using the fourth enlargement / reduction ratio. The second enlargement / reduction process is performed.
The relative position detection device according to claim 1 or 2 , wherein the second detection process is performed after the second enlargement / reduction process.
前記第1の映像において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第1の候補画像を抽出し、
前記複数枚の第1の候補画像から前記第1の対応画像部分を含む前記第1の画像を検出する
ことを特徴とする請求項1から3のいずれか1項に記載の相対位置検出装置。 The corresponding image search unit is
In the first image, a plurality of first candidate images included in a predetermined time range before and after the time when the moving object is detected are extracted.
The relative position detecting apparatus according to any one of claims 1 to 3 , wherein the first image including the first corresponding image portion is detected from the plurality of first candidate images.
前記第2の映像において前記第1の固定カメラが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第2の候補画像を抽出し、
前記複数枚の第2の候補画像から前記第1の対応画像部分を含む前記第2の画像を検出する
ことを特徴とする請求項1から4のいずれか1項に記載の相対位置検出装置。 The corresponding image search unit is
A plurality of second candidate images included in a predetermined time range before and after the time when the first fixed camera was detected in the second video are extracted.
The relative position detecting apparatus according to any one of claims 1 to 4 , wherein the second image including the first corresponding image portion is detected from the plurality of second candidate images.
前記第3の映像において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第3の候補画像を抽出し、
前記複数枚の第3の候補画像から前記第2の対応画像部分を含む前記第3の画像を検出する
ことを特徴とする請求項1から3のいずれか1項に記載の相対位置検出装置。 The corresponding image search unit is
In the third image, a plurality of third candidate images included within a predetermined time range before and after the time when the moving object is detected are extracted.
The relative position detecting apparatus according to any one of claims 1 to 3 , wherein the third image including the second corresponding image portion is detected from the plurality of third candidate images.
前記第4の映像において前記第2の固定カメラが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第4の候補画像を抽出し、
前記複数枚の第4の候補画像から前記第2の対応画像部分を含む前記第4の画像を検出する
ことを特徴とする請求項1から3及び6のいずれか1項に記載の相対位置検出装置。 The corresponding image search unit is
A plurality of fourth candidate images included in a predetermined time range before and after the time when the second fixed camera was detected in the fourth video are extracted.
The relative position detection according to any one of claims 1 to 3 and 6 , wherein the fourth image including the second corresponding image portion is detected from the plurality of fourth candidate images. Device.
複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するステップと、
前記複数のカメラのうちの第1の固定カメラによって撮影された第1の映像の撮影方向と前記移動カメラによって撮影された第2の映像の撮影方向とを近づける第1の変換処理を行い、前記第1の変換処理の後に、前記第1の映像に含まれる複数枚の第1の画像と前記第2の映像に含まれる複数枚の第2の画像とのうちの互いの類似度が予め決められた閾値以上である第1の対応画像部分を含む第1の画像及び第2の画像を検出する第1の検出処理を行うステップと、
前記第1の固定カメラと前記第1の対応画像部分を含む前記第2の画像を撮影したときの前記移動カメラとの間の第1の相対位置を算出するステップと、
前記移動カメラの位置を算出するステップと、
を有し、
前記第1の検出処理を行う前記ステップでは、
前記複数のカメラのうちの第2の固定カメラによって撮影された第3の映像の撮影方向と前記移動カメラによって撮影された第4の映像の撮影方向とを近づける第2の変換処理を行い、
前記第2の変換処理の後に、前記第3の映像に含まれる複数枚の第3の画像と前記第4の映像に含まれる複数枚の第4の画像とのうちの互いの類似度が予め決められた閾値以上である第2の対応画像部分を含む第3の画像及び第4の画像を検出する第2の検出処理を行い、
前記第1の相対位置を算出する前記ステップでは、前記第2の固定カメラと前記第2の対応画像部分を含む前記第4の画像を撮影したときの前記移動カメラとの間の第2の相対位置を算出し、
前記第1の相対位置と、前記第2の相対位置と、前記移動カメラの位置とに基づいて、前記第1の固定カメラと前記第2の固定カメラとの間の相対位置である第3の相対位置が算出される
ことを特徴とする相対位置検出方法。 A relative position detection method performed by a relative position detection device.
A step of determining whether each of the plurality of images captured by the plurality of cameras is an image captured by a fixed camera or an image captured by a moving camera.
The first conversion process is performed to bring the shooting direction of the first image shot by the first fixed camera of the plurality of cameras closer to the shooting direction of the second image shot by the moving camera. After the first conversion process, the degree of similarity between the plurality of first images included in the first video and the plurality of second images included in the second video is predetermined. A step of performing a first detection process for detecting a first image and a second image including a first corresponding image portion that is equal to or greater than a determined threshold, and a step of performing the first detection process.
A step of calculating a first relative position between the first fixed camera and the moving camera when the second image including the first corresponding image portion is taken.
The step of calculating the position of the moving camera and
Have,
In the step of performing the first detection process,
A second conversion process is performed to bring the shooting direction of the third image shot by the second fixed camera of the plurality of cameras closer to the shooting direction of the fourth image shot by the moving camera.
After the second conversion process, the degree of similarity between the plurality of third images included in the third video and the plurality of fourth images included in the fourth video is determined in advance. A second detection process for detecting the third image and the fourth image including the second corresponding image portion that is equal to or higher than the determined threshold value is performed.
In the step of calculating the first relative position, the second relative between the second fixed camera and the moving camera when the fourth image including the second corresponding image portion is taken. Calculate the position,
A third, which is a relative position between the first fixed camera and the second fixed camera, based on the first relative position, the second relative position, and the position of the moving camera. Relative position is calculated
A relative position detection method characterized by this.
前記複数のカメラのうちの第1の固定カメラによって撮影された第1の映像の撮影方向と前記移動カメラによって撮影された第2の映像の撮影方向とを近づける第1の変換処理を行い、前記第1の変換処理の後に、前記第1の映像に含まれる複数枚の第1の画像と前記第2の映像に含まれる複数枚の第2の画像とのうちの互いの類似度が予め決められた閾値以上である第1の対応画像部分を含む第1の画像及び第2の画像を検出する第1の検出処理を行うステップと、
前記第1の固定カメラと前記第1の対応画像部分を含む前記第2の画像を撮影したときの前記移動カメラとの間の第1の相対位置を算出するステップと、
前記移動カメラの位置を算出するステップと、
をコンピュータに実行させる相対位置検出プログラムであって、
前記第1の検出処理を行う前記ステップでは、
前記複数のカメラのうちの第2の固定カメラによって撮影された第3の映像の撮影方向と前記移動カメラによって撮影された第4の映像の撮影方向とを近づける第2の変換処理を行い、
前記第2の変換処理の後に、前記第3の映像に含まれる複数枚の第3の画像と前記第4の映像に含まれる複数枚の第4の画像とのうちの互いの類似度が予め決められた閾値以上である第2の対応画像部分を含む第3の画像及び第4の画像を検出する第2の検出処理を行い、
前記第1の相対位置を算出する前記ステップでは、前記第2の固定カメラと前記第2の対応画像部分を含む前記第4の画像を撮影したときの前記移動カメラとの間の第2の相対位置を算出し、
前記第1の相対位置と、前記第2の相対位置と、前記移動カメラの位置とに基づいて、前記第1の固定カメラと前記第2の固定カメラとの間の相対位置である第3の相対位置が算出される
ことを特徴とする相対位置検出プログラム。 A step of determining whether each of the plurality of images captured by the plurality of cameras is an image captured by a fixed camera or an image captured by a moving camera.
The first conversion process is performed to bring the shooting direction of the first image shot by the first fixed camera of the plurality of cameras closer to the shooting direction of the second image shot by the moving camera. After the first conversion process, the degree of similarity between the plurality of first images included in the first video and the plurality of second images included in the second video is predetermined. A step of performing a first detection process for detecting a first image and a second image including a first corresponding image portion that is equal to or greater than a determined threshold, and a step of performing the first detection process.
A step of calculating a first relative position between the first fixed camera and the moving camera when the second image including the first corresponding image portion is taken.
The step of calculating the position of the moving camera and
Is a relative position detection program that causes a computer to execute
In the step of performing the first detection process,
A second conversion process is performed to bring the shooting direction of the third image shot by the second fixed camera of the plurality of cameras closer to the shooting direction of the fourth image shot by the moving camera.
After the second conversion process, the degree of similarity between the plurality of third images included in the third video and the plurality of fourth images included in the fourth video is determined in advance. A second detection process for detecting the third image and the fourth image including the second corresponding image portion that is equal to or higher than the determined threshold value is performed.
In the step of calculating the first relative position, the second relative between the second fixed camera and the moving camera when the fourth image including the second corresponding image portion is taken. Calculate the position,
A third, which is a relative position between the first fixed camera and the second fixed camera, based on the first relative position, the second relative position, and the position of the moving camera. Relative position is calculated
A relative position detection program characterized by this .
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/050877 WO2021130913A1 (en) | 2019-12-25 | 2019-12-25 | Relative position detection device, relative position detection method, and relative position detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021130913A1 JPWO2021130913A1 (en) | 2021-07-01 |
JP7019113B2 true JP7019113B2 (en) | 2022-02-14 |
Family
ID=76573776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021561598A Active JP7019113B2 (en) | 2019-12-25 | 2019-12-25 | Relative position detector, relative position detection method, and relative position detection program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7019113B2 (en) |
WO (1) | WO2021130913A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014138420A (en) | 2013-01-16 | 2014-07-28 | Honda Research Institute Europe Gmbh | Depth sensing method and system for autonomous vehicle |
JP2017116339A (en) | 2015-12-22 | 2017-06-29 | 株式会社リコー | Detection device, detection method, and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3153718B2 (en) * | 1994-11-07 | 2001-04-09 | ニッタン株式会社 | Intruder detection device and intruder detection method |
-
2019
- 2019-12-25 WO PCT/JP2019/050877 patent/WO2021130913A1/en active Application Filing
- 2019-12-25 JP JP2021561598A patent/JP7019113B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014138420A (en) | 2013-01-16 | 2014-07-28 | Honda Research Institute Europe Gmbh | Depth sensing method and system for autonomous vehicle |
JP2017116339A (en) | 2015-12-22 | 2017-06-29 | 株式会社リコー | Detection device, detection method, and program |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021130913A1 (en) | 2021-07-01 |
WO2021130913A1 (en) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9330471B2 (en) | Camera aided motion direction and speed estimation | |
KR100941418B1 (en) | A localization method of moving robot | |
JP5001260B2 (en) | Object tracking method and object tracking apparatus | |
US20170248971A1 (en) | Method for detecting target object, detection apparatus and robot | |
CN104103030B (en) | Image analysis method, camera apparatus, control apparatus and control method | |
CN110782483B (en) | Multi-view multi-target tracking method and system based on distributed camera network | |
JP4002919B2 (en) | Moving body height discrimination device | |
Klippenstein et al. | Quantitative evaluation of feature extractors for visual slam | |
WO2012086821A1 (en) | Positioning apparatus and positioning method | |
US9928426B1 (en) | Vehicle detection, tracking and localization based on enhanced anti-perspective transformation | |
KR101348680B1 (en) | Target acquisition method for video tracker, and target acquisition apparatus using the same | |
JP5262705B2 (en) | Motion estimation apparatus and program | |
JP7354767B2 (en) | Object tracking device and object tracking method | |
El Bouazzaoui et al. | Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization | |
JP6116765B1 (en) | Object detection apparatus and object detection method | |
JP4935769B2 (en) | Plane region estimation apparatus and program | |
JPH11250252A (en) | Three-dimensional object recognizing device and method therefor | |
CN110706257B (en) | Identification method of effective characteristic point pair, and camera state determination method and device | |
Shimizu et al. | LIDAR-based body orientation estimation by integrating shape and motion information | |
JP7019113B2 (en) | Relative position detector, relative position detection method, and relative position detection program | |
KR100631082B1 (en) | Method for acquiring three-dimensional image information using single camera and video traffic monitoring method using the same | |
JP5032415B2 (en) | Motion estimation apparatus and program | |
Makhmalbaf et al. | 2D vision tracking methods' performance comparison for 3D tracking of construction resources | |
JP7208051B2 (en) | State recognition device | |
KR20070082078A (en) | Vehicle tracking system using compare background vector weight |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211014 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211014 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7019113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |