JP7019113B2 - Relative position detector, relative position detection method, and relative position detection program - Google Patents

Relative position detector, relative position detection method, and relative position detection program Download PDF

Info

Publication number
JP7019113B2
JP7019113B2 JP2021561598A JP2021561598A JP7019113B2 JP 7019113 B2 JP7019113 B2 JP 7019113B2 JP 2021561598 A JP2021561598 A JP 2021561598A JP 2021561598 A JP2021561598 A JP 2021561598A JP 7019113 B2 JP7019113 B2 JP 7019113B2
Authority
JP
Japan
Prior art keywords
image
relative position
camera
moving
fixed camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021561598A
Other languages
Japanese (ja)
Other versions
JPWO2021130913A1 (en
Inventor
雄史 長谷川
明 平田
健 宮本
洋平 岡登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2021130913A1 publication Critical patent/JPWO2021130913A1/ja
Application granted granted Critical
Publication of JP7019113B2 publication Critical patent/JP7019113B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、カメラ間の相対位置を検出する相対位置検出装置、相対位置検出方法、及び相対位置検出プログラムに関する。 The present disclosure relates to a relative position detection device for detecting a relative position between cameras, a relative position detection method, and a relative position detection program.

街頭及びビル内などには、多くのカメラが設置されている。これらのカメラで撮影された映像は、人及びモビリティなどの監視対象である移動物体を追跡するためのシステムで使用されている。カメラ間の相対位置が既知である場合は、複数台のカメラで撮影された映像に基づいて移動物体の移動方向及び移動距離を算出することができるので、監視対象を追跡することが可能である。 Many cameras are installed on the streets and in buildings. The images taken by these cameras are used in systems for tracking moving objects that are monitored, such as people and mobility. When the relative position between the cameras is known, the moving direction and the moving distance of the moving object can be calculated based on the images taken by a plurality of cameras, so that the monitored object can be tracked. ..

国際公開第２０１８／１３４８６６号International Publication No. 2018/134866

しかしながら、カメラ間の相対位置が不明である場合は、各カメラの撮影領域の境界を跨いで移動する移動物体の移動方向及び移動距離を算出することができないので、移動物体を追跡することができない。このため、すでに設置されているカメラの間の相対位置を検出したいという要求がある。 However, when the relative position between the cameras is unknown, the moving direction and the moving distance of the moving object moving across the boundary of the shooting area of each camera cannot be calculated, so that the moving object cannot be tracked. .. Therefore, there is a demand to detect the relative position between the cameras already installed.

本開示は、上記のような課題を解決するためになされたものであり、カメラ間の相対位置を検出することを目的とする。 The present disclosure has been made to solve the above-mentioned problems, and an object of the present disclosure is to detect a relative position between cameras.

本開示に係る相対位置検出装置は、複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するカメラ判定部と、前記複数のカメラのうちの第１の固定カメラによって撮影された第１の映像の撮影方向と前記移動カメラによって撮影された第２の映像の撮影方向とを近づける第１の変換処理を行い、前記第１の変換処理の後に、前記第１の映像に含まれる複数枚の第１の画像と前記第２の映像に含まれる複数枚の第２の画像とのうちの互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像及び第２の画像を検出する第１の検出処理を行う対応画像探索部と、前記第１の固定カメラと前記第１の対応画像部分を含む前記第２の画像を撮影したときの前記移動カメラとの間の第１の相対位置を算出する第１の相対位置算出部と、前記移動カメラの位置を算出する移動カメラ位置算出部と、第２の相対位置算出部と、を有し、
前記対応画像探索部は、前記複数のカメラのうちの第２の固定カメラによって撮影された第３の映像の撮影方向と前記移動カメラによって撮影された第４の映像の撮影方向とを近づける第２の変換処理を行い、前記第２の変換処理の後に、前記第３の映像に含まれる複数枚の第３の画像と前記第４の映像に含まれる複数枚の第４の画像とのうちの互いの類似度が予め決められた閾値以上である第２の対応画像部分を含む第３の画像及び第４の画像を検出する第２の検出処理を行い、
前記第１の相対位置算出部は、前記第２の固定カメラと前記第２の対応画像部分を含む前記第４の画像を撮影したときの前記移動カメラとの間の第２の相対位置を算出し、
前記第２の相対位置算出部は、前記第１の相対位置と、前記第２の相対位置と、前記移動カメラの位置とに基づいて、前記第１の固定カメラと前記第２の固定カメラとの間の相対位置である第３の相対位置を算出することを特徴とする。 The relative position detection device according to the present disclosure is a camera determination unit that determines whether each of a plurality of images captured by a plurality of cameras is an image captured by a fixed camera or an image captured by a moving camera. And the first conversion process of bringing the shooting direction of the first image shot by the first fixed camera of the plurality of cameras and the shooting direction of the second image shot by the moving camera closer to each other. After the first conversion process, the degree of similarity between the plurality of first images included in the first video and the plurality of second images included in the second video is increased. A corresponding image search unit that performs a first detection process for detecting a first image and a second image including a first corresponding image portion that is equal to or higher than a predetermined threshold, the first fixed camera, and the first. A first relative position calculation unit that calculates a first relative position with the moving camera when the second image including the corresponding image portion of 1 is taken, and a movement that calculates the position of the moving camera. It has a camera position calculation unit and a second relative position calculation unit.
The corresponding image search unit brings the shooting direction of the third image shot by the second fixed camera of the plurality of cameras closer to the shooting direction of the fourth image shot by the moving camera. After the second conversion process, among the plurality of third images included in the third video and the plurality of fourth images included in the fourth video. A second detection process for detecting a third image and a fourth image including a second corresponding image portion whose similarity to each other is equal to or higher than a predetermined threshold is performed.
The first relative position calculation unit calculates a second relative position between the second fixed camera and the moving camera when the fourth image including the second corresponding image portion is taken. death,
The second relative position calculation unit includes the first fixed camera and the second fixed camera based on the first relative position, the second relative position, and the position of the moving camera. It is characterized in that a third relative position, which is a relative position between the two, is calculated .

本開示に係る相対位置検出方法は、相対位置検出装置によって実行される方法であって、複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するステップと、前記複数のカメラのうちの第１の固定カメラによって撮影された第１の映像の撮影方向と前記移動カメラによって撮影された第２の映像の撮影方向とを近づける第１の変換処理を行い、前記第１の変換処理の後に、前記第１の映像に含まれる複数枚の第１の画像と前記第２の映像に含まれる複数枚の第２の画像とのうちの互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像及び第２の画像を検出する第１の検出処理を行うステップと、前記第１の固定カメラと前記第１の対応画像部分を含む前記第２の画像を撮影したときの前記移動カメラとの間の第１の相対位置を算出するステップと、前記移動カメラの位置を算出するステップと、を有し、
前記第１の検出処理を行う前記ステップでは、前記複数のカメラのうちの第２の固定カメラによって撮影された第３の映像の撮影方向と前記移動カメラによって撮影された第４の映像の撮影方向とを近づける第２の変換処理を行い、前記第２の変換処理の後に、前記第３の映像に含まれる複数枚の第３の画像と前記第４の映像に含まれる複数枚の第４の画像とのうちの互いの類似度が予め決められた閾値以上である第２の対応画像部分を含む第３の画像及び第４の画像を検出する第２の検出処理を行い、
前記第１の相対位置を算出する前記ステップでは、前記第２の固定カメラと前記第２の対応画像部分を含む前記第４の画像を撮影したときの前記移動カメラとの間の第２の相対位置を算出し、
前記第１の相対位置と、前記第２の相対位置と、前記移動カメラの位置とに基づいて、前記第１の固定カメラと前記第２の固定カメラとの間の相対位置である第３の相対位置が算出されることを特徴とする。 The relative position detection method according to the present disclosure is a method executed by a relative position detection device, and each of a plurality of images captured by a plurality of cameras is an image captured by a fixed camera or a moving camera. The step of determining whether the image is captured, the shooting direction of the first image captured by the first fixed camera of the plurality of cameras, and the capture of the second image captured by the moving camera. A first conversion process for bringing the directions closer to each other is performed, and after the first conversion process, a plurality of first images included in the first image and a plurality of second images included in the second image are included. The step of performing the first detection process for detecting the first image and the second image including the first corresponding image portion in which the similarity between the images and the images is equal to or higher than a predetermined threshold, and the above. The step of calculating the first relative position between the first fixed camera and the moving camera when the second image including the first corresponding image portion is taken, and the position of the moving camera are calculated. And have steps to
In the step of performing the first detection process, the shooting direction of the third image captured by the second fixed camera among the plurality of cameras and the photographing direction of the fourth image captured by the moving camera. A second conversion process is performed to bring the images closer to each other, and after the second conversion process, a plurality of third images included in the third image and a plurality of fourth images included in the fourth image are used. A second detection process for detecting a third image and a fourth image including a second corresponding image portion whose similarity with the image is equal to or higher than a predetermined threshold is performed.
In the step of calculating the first relative position, the second relative between the second fixed camera and the moving camera when the fourth image including the second corresponding image portion is taken. Calculate the position,
A third, which is a relative position between the first fixed camera and the second fixed camera, based on the first relative position, the second relative position, and the position of the moving camera. It is characterized in that the relative position is calculated .

本開示によれば、カメラ間の相対位置を検出することができる。 According to the present disclosure, it is possible to detect relative positions between cameras.

実施の形態１に係る相対位置検出装置を含むシステムのハードウェア構成の例を示す図である。It is a figure which shows the example of the hardware composition of the system which includes the relative position detection apparatus which concerns on Embodiment 1. FIG. 実施の形態１に係る相対位置検出装置に映像を提供するカメラの使用状態の例を示す図である。It is a figure which shows the example of the use state of the camera which provides the image to the relative position detection apparatus which concerns on Embodiment 1. FIG. 実施の形態１に係る相対位置検出装置に映像を提供するカメラの使用状態の他の例を示す図である。It is a figure which shows the other example of the use state of the camera which provides the image to the relative position detection apparatus which concerns on Embodiment 1. FIG. 実施の形態１に係る相対位置検出装置の構成を概略的に示す機能ブロック図である。It is a functional block diagram which shows schematic structure of the relative position detection apparatus which concerns on Embodiment 1. FIG. 実施の形態１に係る相対位置検出装置の対応画像探索部の構成を概略的に示す機能ブロック図である。FIG. 5 is a functional block diagram schematically showing a configuration of a corresponding image search unit of the relative position detection device according to the first embodiment. （Ａ）～（Ｃ）は、第１の路面検出部の動作を示す図である。(A) to (C) are diagrams showing the operation of the first road surface detection unit. （Ａ）～（Ｄ）は、第２の路面検出部の動作を示す図である。(A) to (D) are diagrams showing the operation of the second road surface detection unit. （Ａ）～（Ｄ）は、実施の形態１に係る相対位置検出装置の撮影方向変換部によって行われる処理の例を示す図である。(A) to (D) are diagrams showing an example of processing performed by the photographing direction changing unit of the relative position detection device according to the first embodiment. （Ａ）～（Ｃ）は、実施の形態１に係る相対位置検出装置の撮影方向変換部によって行われる処理の他の例を示す図である。(A) to (C) are diagrams showing other examples of processing performed by the photographing direction changing unit of the relative position detection device according to the first embodiment. （Ａ）～（Ｄ）は、図５に示される類似画像検出部によって行われる処理を示す図である。(A) to (D) are diagrams showing the processing performed by the similar image detection unit shown in FIG. 実施の形態１に係る相対位置検出装置の動作を示すフローチャートである。It is a flowchart which shows the operation of the relative position detection apparatus which concerns on Embodiment 1. FIG. 実施の形態１に係る相対位置検出装置の対応画像探索部の動作を示すフローチャートである。It is a flowchart which shows the operation of the corresponding image search part of the relative position detection apparatus which concerns on Embodiment 1. FIG. 実施の形態２に係る相対位置検出装置の構成を概略的に示す機能ブロック図である。It is a functional block diagram which shows schematic structure of the relative position detection apparatus which concerns on Embodiment 2. FIG. （Ａ）～（Ｄ）は、図１３に示される拡大縮小率変換部によって行われる処理を示す図である。(A) to (D) are diagrams showing the processing performed by the enlargement / reduction ratio conversion unit shown in FIG. 実施の形態２に係る相対位置検出装置の対応画像探索部の動作を示すフローチャートである。It is a flowchart which shows the operation of the corresponding image search part of the relative position detection apparatus which concerns on Embodiment 2. FIG. 実施の形態３に係る相対位置検出装置の構成を概略的に示す機能ブロック図である。It is a functional block diagram which shows schematic structure of the relative position detection apparatus which concerns on Embodiment 3. FIG. （Ａ）～（Ｃ）は、図１６に示される画像選定部によって行われる処理を示す図である。(A) to (C) are diagrams showing the processing performed by the image selection unit shown in FIG. （Ａ）及び（Ｂ）は、図１６に示される対応画像探索部の動作を示すフローチャートである。(A) and (B) are flowcharts showing the operation of the corresponding image search unit shown in FIG.

以下の実施の形態では、カメラ間の相対位置を検出する相対位置検出装置、相対位置検出方法、及び相対位置検出プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。 In the following embodiment, a relative position detection device for detecting a relative position between cameras, a relative position detection method, and a relative position detection program will be described with reference to the drawings. The following embodiments are merely examples, and it is possible to appropriately combine the embodiments and change the embodiments as appropriate.

実施の形態１．
図１は、実施の形態１に係る相対位置検出装置１０を含むシステムのハードウェア構成の例を示す図である。図１に示されるシステムは、例えば、監視システムである。図１に示されるシステムは、複数の撮像装置である複数のカメラ４１、４２、４３、４４、…と、複数のカメラ４１、４２、４３、４４、…によって撮影された複数の映像（すなわち、複数のカメラにそれぞれ対応する複数の映像情報）、カメラ間の相対位置を示す情報、などを保存するサーバ６０と、複数の映像に基づいてカメラ間の相対位置を検出する相対位置検出装置１０とを有している。複数のカメラは、固定カメラと移動カメラとを含む。固定カメラは、例えば、監視カメラである。移動カメラは、例えば、路面上を走行する車両に搭載されているカメラ（例えば、ドライブレコーダ用のカメラ）、人が携行するカメラ（例えば、スマートホンのカメラ）、などである。Embodiment 1.
FIG. 1 is a diagram showing an example of a hardware configuration of a system including the relative position detection device 10 according to the first embodiment. The system shown in FIG. 1 is, for example, a monitoring system. The system shown in FIG. 1 is a plurality of images (that is, a plurality of images) captured by a plurality of cameras 41, 42, 43, 44, ..., Which are a plurality of image pickup devices, and a plurality of cameras 41, 42, 43, 44, .... A server 60 that stores (a plurality of video information corresponding to each of the plurality of cameras), information indicating the relative position between the cameras, and the like, and a relative position detecting device 10 that detects the relative position between the cameras based on the plurality of images. have. Multiple cameras include fixed cameras and mobile cameras. The fixed camera is, for example, a surveillance camera. The mobile camera is, for example, a camera mounted on a vehicle traveling on a road surface (for example, a camera for a drive recorder), a camera carried by a person (for example, a camera of a smart phone), and the like.

相対位置検出装置１０は、例えば、コンピュータである。図１に示されるように、相対位置検出装置１０は、プロセッサとしての中央演算装置（ＣＰＵ）１００１と、一時的に情報を記憶する記憶部としてのランダムアクセスメモリ（ＲＡＭ）１００２と、情報を記憶する記憶部としてのリードオンリーメモリ（ＲＯＭ）１００３と、カメラ４１、４２、４３、４４、…と接続されるインタフェースとしてのセンサ入出力部（センサＩＯ）１００４と、サーバ６０と接続されるインタフェースとしてのカメラ情報入出力部（カメラ情報ＩＯ）１００５と、これらを接続するバス１００６とを有している。 The relative position detection device 10 is, for example, a computer. As shown in FIG. 1, the relative position detection device 10 stores information, a central processing unit (CPU) 1001 as a processor, a random access memory (RAM) 1002 as a storage unit for temporarily storing information, and information. The read-only memory (ROM) 1003 as a storage unit, the sensor input / output unit (sensor IO) 1004 as an interface connected to the cameras 41, 42, 43, 44, ..., And the interface connected to the server 60. It has a camera information input / output unit (camera information IO) 1005 and a bus 1006 connecting them.

相対位置検出装置１０は、汎用のコンピュータに限定されるものではなく、例えば、組込機器、ＥＣＵ（電子制御ユニット）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）ボード、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）ボード、などの一部であってもよい。 The relative position detection device 10 is not limited to a general-purpose computer, and is, for example, an embedded device, an ECU (electronic control unit), an FPGA (Field-Programmable Gate Array) board, a GPU (Graphics Processing Unit) board, or the like. May be part of.

図１は、相対位置検出装置１０に、複数のカメラとサーバ６０とが接続されている構成を示しているが、カメラ４１、４２、４３、４４、…をサーバ６０に接続し、相対位置検出装置１０は、サーバ６０から映像情報を受信してもよい。また、複数のカメラ４１、４２、４３、４４、…と、サーバ６０と、相対位置検出装置１０とは、ネットワークを介して互いに接続されてもよい。 FIG. 1 shows a configuration in which a plurality of cameras and a server 60 are connected to the relative position detection device 10, but the cameras 41, 42, 43, 44, ... Are connected to the server 60 to detect the relative position. The device 10 may receive video information from the server 60. Further, the plurality of cameras 41, 42, 43, 44, ..., The server 60, and the relative position detection device 10 may be connected to each other via a network.

図２は、相対位置検出装置１０に映像を提供するカメラの使用状態の例を示す図である。図２は、固定カメラ（例えば、Ａ、Ｂ、…）によって撮影された映像と、路面７０上を移動物体８０に搭載された移動カメラＣによって撮影された映像とが相対位置検出装置１０に提供される例を示している。 FIG. 2 is a diagram showing an example of a usage state of a camera that provides an image to the relative position detection device 10. In FIG. 2, an image taken by a fixed camera (for example, A, B, ...) And an image taken by a moving camera C mounted on a moving object 80 on the road surface 70 are provided to the relative position detecting device 10. An example is shown.

図３は、相対位置検出装置１０に映像を提供するカメラの使用状態の他の例を示す図である。図３は、固定カメラ（例えば、Ａ、Ｂ、…）によって撮影された映像と、路面７０上を歩行している人８１が持ち運ぶ移動カメラＣによって撮影された映像とが相対位置検出装置１０に提供される例を示している。なお、図２及び図３における固定カメラと移動カメラとは、図１における、カメラ４１、４２、４３、４４、…のいずれかである。 FIG. 3 is a diagram showing another example of the usage state of the camera that provides the image to the relative position detection device 10. In FIG. 3, an image taken by a fixed camera (for example, A, B, ...) And an image taken by a mobile camera C carried by a person 81 walking on the road surface 70 are combined with the relative position detecting device 10. The example provided is shown. The fixed camera and the mobile camera in FIGS. 2 and 3 are any of the cameras 41, 42, 43, 44, ... In FIG.

図４は、相対位置検出装置１０の構成を概略的に示す機能ブロック図である。相対位置検出装置１０は、実施の形態１に係る相対位置検出方法を実施することができる装置である。図４に示されるように、相対位置検出装置１０は、映像受信部１１０と、カメラ判定部１２０と、対応画像探索部１３０と、固定カメラと移動カメラとの間の相対位置を算出する第１の相対位置算出部１４０とを有している。また、相対位置検出装置１０は、移動カメラの位置を算出する移動カメラ位置算出部１５０と、固定カメラ間の相対位置を算出する第２の相対位置算出部１６０とを有している。相対位置検出装置１０は、例えば、図１に示されるソフトウェアである相対位置検出プログラムを記憶するＲＡＭ１００２と、相対位置検出プログラムを実行するＣＰＵ１００１とによって実現される。 FIG. 4 is a functional block diagram schematically showing the configuration of the relative position detection device 10. The relative position detection device 10 is a device capable of implementing the relative position detection method according to the first embodiment. As shown in FIG. 4, the relative position detection device 10 calculates the relative position between the video receiving unit 110, the camera determination unit 120, the corresponding image search unit 130, and the fixed camera and the moving camera. It has a relative position calculation unit 140 of the above. Further, the relative position detection device 10 has a moving camera position calculation unit 150 that calculates the position of the moving camera, and a second relative position calculation unit 160 that calculates the relative position between the fixed cameras. The relative position detection device 10 is realized, for example, by a RAM 1002 that stores a relative position detection program, which is software shown in FIG. 1, and a CPU 1001 that executes a relative position detection program.

映像受信部１１０は、相対位置検出装置１０に接続された複数のカメラ４１、４２、４３、…によって撮影された複数の映像を受信して、映像と時刻とカメラと特定する情報（例えば、識別番号）とを互いに関連付けて保持する。 The video receiving unit 110 receives a plurality of videos captured by a plurality of cameras 41, 42, 43, ... Connected to the relative position detection device 10, and identifies the video, the time, and the camera (for example, identification). Number) and keep in association with each other.

カメラ判定部１２０は、複数のカメラ４１、４２、４３、…によって撮影された複数の映像の各々が、固定カメラ（例えば、図２及び図３におけるＡ，Ｂ）によって撮影された映像であるか移動カメラ（例えば、図２及び図３におけるＣ）によって撮影された映像であるかを判定する。例えば、カメラ判定部１２０は、撮影された映像内において時系列に並ぶ複数枚の画像（すなわち、複数コマの画像）の間の差分（すなわち、２枚の画像の画素値の差分）を抽出し、画像間の差分が予め決められた基準値より小さい映像を提供するカメラを固定カメラと判定し、画像間の差分が前記基準値以上であるカメラを移動カメラと判定する。これは、固定カメラによって撮影される映像における背景部分は変化しないため時系列に並ぶ複数枚の画像の間の差分は小さいが、移動カメラによって撮影される映像における背景部分は変化するため時系列に並ぶ複数枚の画像の間の差分は大きいことを利用した判定方法である。また、カメラ判定部１２０は、オプティカルフローの検出領域が予め決められた基準値よりも小さい映像を提供するカメラを固定カメラと判定し、オプティカルフローの検出領域が前記基準値以上である映像を提供するカメラを移動カメラと判定してもよい。 In the camera determination unit 120, whether each of the plurality of images captured by the plurality of cameras 41, 42, 43, ... Is an image captured by a fixed camera (for example, A, B in FIGS. 2 and 3). It is determined whether the image is taken by a moving camera (for example, C in FIGS. 2 and 3). For example, the camera determination unit 120 extracts the difference (that is, the difference between the pixel values of the two images) between a plurality of images (that is, images of a plurality of frames) arranged in time series in the captured image. A camera that provides an image in which the difference between images is smaller than a predetermined reference value is determined to be a fixed camera, and a camera in which the difference between images is equal to or greater than the reference value is determined to be a moving camera. This is because the background part in the image taken by the fixed camera does not change, so the difference between multiple images arranged in chronological order is small, but the background part in the image taken by the moving camera changes, so it is in chronological order. This is a determination method that utilizes the fact that the difference between a plurality of images arranged side by side is large. Further, the camera determination unit 120 determines that a camera that provides an image whose optical flow detection area is smaller than a predetermined reference value is a fixed camera, and provides an image whose optical flow detection area is equal to or larger than the reference value. The camera to be used may be determined to be a moving camera.

対応画像探索部１３０は、図２及び図３における時刻ｔ１のときに撮影された映像に基づいて、複数のカメラ４１、４２、…のうちの第１の固定カメラＡによって撮影された第１の映像Ｐ１の撮影方向とそのときに移動カメラＣによって撮影された第２の映像Ｐ２の撮影方向とを近づける（望ましくは、一致させる）第１の変換処理を行う。また、対応画像探索部１３０は、図２及び図３の時刻ｔ２のときに撮影された映像に基づいて、複数のカメラ４１、４２、…のうちの第２の固定カメラＢによって撮影された第３の映像Ｐ３の撮影方向とそのときに移動カメラＣによって撮影された第４の映像Ｐ４の撮影方向とを近づける（望ましくは、一致させる）第２の変換処理を行う。第１の変換処理及び第２の変換処理は、撮影方向を変更する画像変換処理である撮影方向変更処理、又は視点位置を変更する画像変換処理である視点変更処理である。 The corresponding image search unit 130 is a first image taken by the first fixed camera A of the plurality of cameras 41, 42, ... Based on the images taken at time t1 in FIGS. 2 and 3. A first conversion process is performed in which the shooting direction of the video P1 and the shooting direction of the second video P2 shot by the moving camera C at that time are brought close to each other (preferably matched). Further, the corresponding image search unit 130 is a second fixed camera B of a plurality of cameras 41, 42, ... Based on the images taken at the time t2 of FIGS. 2 and 3. A second conversion process is performed in which the shooting direction of the video P3 of 3 and the shooting direction of the fourth video P4 shot by the moving camera C at that time are brought close to each other (preferably matched). The first conversion process and the second conversion process are a shooting direction change process, which is an image conversion process for changing the shooting direction, or a viewpoint change process, which is an image conversion process for changing the viewpoint position.

対応画像探索部１３０は、第１の変換処理の後に、第１の固定カメラＡによって撮影された第１の映像Ｐ１に含まれる複数枚の第１の画像と第２の映像Ｐ２に含まれる複数枚の第２の画像とのうちの、同一の第１の空間領域内で撮影された、互いの類似度が予め決められた閾値以上である第１の対応画像部分（例えば、後述の図１０（Ａ）における物体７１）を含む第１の画像と第２の画像とを検出する第１の検出処理を行う。また、対応画像探索部１３０は、第２の変換処理の後に、第２の固定カメラＢによって撮影された第３の映像Ｐ３に含まれる複数枚の第３の画像と第４の映像Ｐ４に含まれる複数枚の第４の画像とのうちの、同一の第２の空間領域内で撮影された、互いの類似度が予め決められた閾値以上である第２の対応画像部分（例えば、後述の図１０（Ａ）における物体７２）を含む第３の画像と第４の画像とを検出する第２の検出処理を行う。 After the first conversion process, the corresponding image search unit 130 includes a plurality of first images included in the first image P1 taken by the first fixed camera A and a plurality of images included in the second image P2. A first corresponding image portion (for example, FIG. 10 described later) of the second image of the sheet, which is taken in the same first spatial region and whose similarity with each other is equal to or higher than a predetermined threshold value. The first detection process for detecting the first image and the second image including the object 71) in (A) is performed. Further, the corresponding image search unit 130 is included in the plurality of third images and the fourth video P4 included in the third video P3 captured by the second fixed camera B after the second conversion process. A second corresponding image portion (for example, described later) of the plurality of fourth images, which is taken in the same second spatial region and whose similarity to each other is equal to or higher than a predetermined threshold. A second detection process for detecting the third image and the fourth image including the object 72) in FIG. 10A is performed.

第１の検出処理は、第１の固定カメラＡによって撮影された第１の映像Ｐ１の複数枚の画像と移動カメラＣによって撮影された第２の映像Ｐ２の複数枚の画像との類似性を評価して、これらが画像マッチングの対象画像であるか否かを判定する画像探索処理である。第２の検出処理は、第２の固定カメラＢによって撮影された第３の映像Ｐ３の複数枚の画像と移動カメラＣによって撮影された第４の映像Ｐ４の複数枚の画像との類似性を評価して、これらが画像マッチングの対象画像であるか否かを判定する画像探索処理である。 The first detection process determines the similarity between the plurality of images of the first image P1 taken by the first fixed camera A and the plurality of images of the second image P2 taken by the moving camera C. This is an image search process that evaluates and determines whether or not these are target images for image matching. The second detection process determines the similarity between the plurality of images of the third image P3 taken by the second fixed camera B and the plurality of images of the fourth image P4 taken by the moving camera C. This is an image search process that evaluates and determines whether or not these are target images for image matching.

第１の相対位置算出部１４０は、第１の固定カメラＡと第１の対応画像部分を含む第２の画像を撮影したとき（例えば、図２及び図３における時刻ｔ１）の移動カメラＣとの間の第１の相対位置を算出する。第１の相対位置は、相対位置だけでなく相対姿勢を含む。また、第１の相対位置算出部１４０は、第２の固定カメラＢと第２の対応画像部分を含む第２の画像を撮影したとき（例えば、図２及び図３における時刻ｔ２）の移動カメラＣとの間の第２の相対位置を算出する。第２の相対位置は、相対位置だけでなく相対姿勢を含む。第１の相対位置算出部１４０は、対応画像探索部１３０によって探索された画像を使用して、画像内の特徴点から類似する特徴のある対応点を検出し、探索された画像内の対応点の位置関係から第１の相対位置及び第２の相対位置を算出する。第１の相対位置算出部１４０は、例えば、８点アルゴリズム又は５点アルゴリズムなどを用いて第１の相対位置及び第２の相対位置を算出する。 The first relative position calculation unit 140 includes the first fixed camera A and the moving camera C when a second image including the first corresponding image portion is taken (for example, time t1 in FIGS. 2 and 3). Calculate the first relative position between. The first relative position includes not only the relative position but also the relative posture. Further, the first relative position calculation unit 140 is a moving camera when a second image including the second fixed camera B and the second corresponding image portion is taken (for example, time t2 in FIGS. 2 and 3). The second relative position with C is calculated. The second relative position includes not only the relative position but also the relative posture. The first relative position calculation unit 140 uses the image searched by the corresponding image search unit 130 to detect a corresponding point having similar features from the feature points in the image, and the corresponding point in the searched image. The first relative position and the second relative position are calculated from the positional relationship of. The first relative position calculation unit 140 calculates the first relative position and the second relative position by using, for example, an 8-point algorithm or a 5-point algorithm.

移動カメラ位置算出部１５０は、移動カメラＣによって撮影された第２の映像Ｐ２に基づいて移動カメラＣの位置情報を算出する。また、移動カメラ位置算出部１５０は、移動カメラＣによって撮影された第４の映像Ｐ４に基づいて移動カメラＣの位置情報を算出する。移動カメラＣの位置情報は、移動カメラＣの姿勢情報を含むことができる。移動カメラ位置算出部１５０は、例えば、移動カメラＣによって撮影された第２の映像Ｐ２及び第４の映像Ｐ４において時系列に並ぶ複数枚の画像における対応点を検出し、その対応点の位置関係に基づいて移動カメラＣの位置と姿勢を算出することができる。移動カメラＣの位置と姿勢を算出する方法としては、例えば、Ｖｉｓｕａｌ－ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）がある。 The moving camera position calculation unit 150 calculates the position information of the moving camera C based on the second image P2 captured by the moving camera C. Further, the moving camera position calculation unit 150 calculates the position information of the moving camera C based on the fourth image P4 captured by the moving camera C. The position information of the moving camera C can include the posture information of the moving camera C. The mobile camera position calculation unit 150 detects, for example, corresponding points in a plurality of images arranged in time series in the second video P2 and the fourth video P4 captured by the mobile camera C, and the positional relationship of the corresponding points. The position and posture of the moving camera C can be calculated based on the above. As a method of calculating the position and posture of the moving camera C, for example, there is Visual-SLAM (Simultaneus Localization and Mapping).

第２の相対位置算出部１６０は、第１の相対位置と、第２の相対位置と、移動カメラ位置算出部１５０によって算出された移動カメラＣの位置情報（例えば、時刻ｔ１における位置情報及び時刻ｔ２における位置情報）とに基づいて、第１の固定カメラＡと第２の固定カメラＢとの間の相対位置である第３の相対位置を算出する。第３の相対位置は、相対位置だけでなく相対姿勢を含む。 The second relative position calculation unit 160 has the first relative position, the second relative position, and the position information of the moving camera C calculated by the moving camera position calculation unit 150 (for example, the position information and the time at time t1). Based on the position information in t2), a third relative position, which is a relative position between the first fixed camera A and the second fixed camera B, is calculated. The third relative position includes not only the relative position but also the relative posture.

図５は、相対位置検出装置１０の対応画像探索部１３０の構成を概略的に示す機能ブロック図である。図５に示されるように、対応画像探索部１３０は、固定カメラ用の第１の路面検出部１３１と、移動カメラ用の第２の路面検出部１３２と、撮影方向変換部１３３と、類似画像検出部１３４とを有している。 FIG. 5 is a functional block diagram schematically showing the configuration of the corresponding image search unit 130 of the relative position detection device 10. As shown in FIG. 5, the corresponding image search unit 130 includes a first road surface detection unit 131 for a fixed camera, a second road surface detection unit 132 for a mobile camera, a shooting direction conversion unit 133, and a similar image. It has a detection unit 134.

第１の路面検出部１３１及び第２の路面検出部１３２は、互いに異なる路面検出手法を用いる。第１の路面検出部１３１は、固定カメラの撮影領域内で移動物体が撮影された際に、移動物体の下部構造（例えば、人の足、車両の車輪、など）の底面の移動軌跡を算出し、これに基づいて基準平面である路面を検出する。 The first road surface detection unit 131 and the second road surface detection unit 132 use different road surface detection methods. The first road surface detection unit 131 calculates the movement locus of the bottom surface of the lower structure of the moving object (for example, a human foot, a wheel of a vehicle, etc.) when the moving object is photographed in the photographing area of the fixed camera. Then, based on this, the road surface which is the reference plane is detected.

第２の路面検出部１３２は、ＳＬＡＭ、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）などによる時系列に並ぶ複数枚の画像から３次元情報を復元し、その３次元情報に基づいて基準平面である路面を検出する。例えば、第２の路面検出部１３２は、移動カメラによって撮影された映像に含まれる画像（すなわち、移動カメラの撮影画像）の下部にある平面を路面と判断する。或いは、第２の路面検出部１３２は、ＩＭＵ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサなどによって検出された重力加速度の方向に基づいて路面を推定してもよい。 The second road surface detection unit 132 restores three-dimensional information from a plurality of images arranged in time series by SLAM, SfM (Structure from Motion), etc., and detects the road surface which is the reference plane based on the three-dimensional information. .. For example, the second road surface detection unit 132 determines that the plane below the image included in the image captured by the mobile camera (that is, the image captured by the mobile camera) is the road surface. Alternatively, the second road surface detection unit 132 may estimate the road surface based on the direction of the gravitational acceleration detected by an IMU (inertial measurement unit) sensor or the like.

撮影方向変換部１３３は、固定カメラによって撮影された映像に含まれる画像（すなわち、固定カメラの撮影画像）内に映る路面から固定カメラと路面の相対位置を算出し、平面射影変換により、固定カメラの撮影画像を路面上方から撮影した画像に変換する。撮影方向変換部１３３は、移動カメラの撮影画像に基づいて３次元情報を復元した際に、移動カメラと路面との相対位置が算出済みであるため、移動カメラの視点位置を路面上方へ移動する画像変換を行う。なお、撮影方向変換部１３３は、路面上方から撮影した画像への変換に代えて、移動カメラの撮影画像の撮影方向を固定カメラの撮影画像の撮影方向に近づける（望ましくは、一致させる）ように移動カメラの撮影画像を変換してもよい。また、撮影方向変換部１３３は、固定カメラの撮影画像の撮影方向を移動カメラの撮影画像の撮影方向に近づける（望ましくは、一致させるように）固定カメラの撮影画像を画像変換してもよい。 The shooting direction changing unit 133 calculates the relative position between the fixed camera and the road surface from the road surface reflected in the image included in the image taken by the fixed camera (that is, the image taken by the fixed camera), and the fixed camera is converted by plane projection conversion. Converts the captured image of the above into an image captured from above the road surface. Since the relative position between the moving camera and the road surface has already been calculated when the three-dimensional information is restored based on the image taken by the moving camera, the shooting direction changing unit 133 moves the viewpoint position of the moving camera upward on the road surface. Perform image conversion. In addition, instead of converting the image taken from above the road surface, the shooting direction changing unit 133 brings the shooting direction of the image shot by the moving camera closer to (preferably, matching) the shooting direction of the image shot by the fixed camera. The image taken by the moving camera may be converted. Further, the shooting direction changing unit 133 may convert the shot image of the fixed camera so that the shooting direction of the shot image of the fixed camera is close to (preferably matched with) the shooting direction of the shot image of the moving camera.

類似画像検出部１３４は、画像変換した固定カメラの撮影画像と移動カメラの撮影画像との類似性を評価して、画像マッチングする（すなわち、対応する）画像を探索する。以上に説明したように、複数のカメラで撮影された映像が異なる撮影方向で撮影した映像であっても、撮影方向を近づける（望ましくは、一致させる）映像に変換し、その後、類似画像を検出できるので、カメラ間の対応画像を少ない情報処理量で高精度に探索することが可能である。 The similar image detection unit 134 evaluates the similarity between the image captured by the fixed camera and the image captured by the moving camera, and searches for an image that matches (that is, corresponds to) the image. As described above, even if the images taken by multiple cameras are taken in different shooting directions, they are converted into images that bring the shooting directions closer (preferably to match), and then a similar image is detected. Therefore, it is possible to search for corresponding images between cameras with high accuracy with a small amount of information processing.

図６（Ａ）～（Ｃ）は、第１の路面検出部１３１の動作を示す図である。図６（Ａ）～（Ｃ）は、第１の固定カメラＡの撮影画像に基づく路面検出方法を示している。第１の路面検出部１３１は、図６（Ａ）に示されるように、第１の固定カメラＡの撮影領域内で移動物体８０が撮影された際に、図６（Ｂ）及び（Ｃ）に示される移動物体８０の下部の底面（すなわち、車輪の接触点）が移動する画像位置を算出して、移動する画像位置を含む平面を路面７０として検出する。なお、第１の路面検出部１３１は、他の固定カメラの撮影画像に基づいて、同様の手法によって路面７０を検出する。なお、第１の映像Ｐ１に基づいて検出された路面７０は「第１の路面」とも言い、第３の映像Ｐ３に基づいて検出された路面７０は「第３の路面」とも言う。 6 (A) to 6 (C) are views showing the operation of the first road surface detection unit 131. 6 (A) to 6 (C) show a road surface detection method based on an image taken by the first fixed camera A. As shown in FIG. 6 (A), the first road surface detection unit 131 has (B) and (C) when the moving object 80 is photographed in the photographing area of the first fixed camera A. The image position where the lower bottom surface (that is, the contact point of the wheel) of the moving object 80 shown in the above moves is calculated, and the plane including the moving image position is detected as the road surface 70. The first road surface detection unit 131 detects the road surface 70 by the same method based on the images taken by another fixed camera. The road surface 70 detected based on the first image P1 is also referred to as a "first road surface", and the road surface 70 detected based on the third image P3 is also referred to as a "third road surface".

図７（Ａ）～（Ｄ）は、第２の路面検出部１３２の動作を示す図である。移動カメラＣの撮影画像に基づく路面検出方法を示す図である。第２の路面検出部１３２は、図７（Ａ）に示されるように、移動カメラＣの撮影領域内で物体７１が撮影された際に、図７（Ｂ）及び（Ｃ）に示される時系列の撮影画像を取得し、Ｖｉｓｕａｌ－ＳＬＡＭ、ＳｆＭ、などによって、時系列の撮影画像から図７（Ｄ）に示される３次元情報を復元し、この３次元情報から路面７０を検出する。なお、第２の映像Ｐ２に基づいて検出された路面７０は「第２の路面」とも言い、第４の映像Ｐ４に基づいて検出された路面７０は「第４の路面」とも言う。 7 (A) to 7 (D) are diagrams showing the operation of the second road surface detection unit 132. It is a figure which shows the road surface detection method based on the photographed image of a moving camera C. As shown in FIG. 7A, when the object 71 is photographed in the photographing area of the moving camera C, the second road surface detecting unit 132 is shown in FIGS. 7B and 7C. A series of captured images are acquired, the three-dimensional information shown in FIG. 7D is restored from the time-series captured images by Visual-SLAM, SfM, or the like, and the road surface 70 is detected from the three-dimensional information. The road surface 70 detected based on the second image P2 is also referred to as a "second road surface", and the road surface 70 detected based on the fourth image P4 is also referred to as a "fourth road surface".

図８（Ａ）～（Ｄ）は、図５に示される撮影方向変換部１３３によって行われる処理の例を示す図である。撮影方向変換部１３３は、図８（Ａ）に示されるように第１の固定カメラＡの撮影画像内に映る路面７０の位置から第１の固定カメラＡと路面７０の相対位置を算出し、図８（Ｂ）に示されるように第１の固定カメラＡの撮影画像を平面射影変換によって路面７０の上方から撮影した画像へ変換する。また、撮影方向変換部１３３は、他の固定カメラの撮影画像をも同様に変換する。 8 (A) to 8 (D) are diagrams showing an example of processing performed by the photographing direction changing unit 133 shown in FIG. As shown in FIG. 8A, the shooting direction changing unit 133 calculates the relative position of the first fixed camera A and the road surface 70 from the position of the road surface 70 reflected in the captured image of the first fixed camera A. As shown in FIG. 8B, the captured image of the first fixed camera A is converted into an image captured from above the road surface 70 by planar projective conversion. Further, the shooting direction changing unit 133 also converts the shot images of other fixed cameras in the same manner.

撮影方向変換部１３３は、図８（Ｃ）に示されるように移動カメラＣの撮影画像から３次元形状を復元した際には、移動カメラＣと路面７０との相対位置が算出済みであるため、図８（Ｄ）に示されるように３次元形状を用いて移動カメラＣの視点位置を上方へ移動することで、移動カメラＣの撮影画像を路面上方から撮影した画像へ変換する。これらの処理によって、図８（Ｂ）及び（Ｄ）に示されるように、撮影方向が一致する。ただし、固定カメラの画像情報を平面射影変換によって画像変換すると、路面の平面部分は、正確に画像変換されるが、平面部分から外れた３次元形状の物体７１の画像変換に誤差が生じる。 As shown in FIG. 8C, when the shooting direction changing unit 133 restores the three-dimensional shape from the shot image of the moving camera C, the relative position between the moving camera C and the road surface 70 has already been calculated. As shown in FIG. 8D, by moving the viewpoint position of the moving camera C upward using the three-dimensional shape, the captured image of the moving camera C is converted into an image captured from above the road surface. By these processes, the shooting directions match as shown in FIGS. 8 (B) and 8 (D). However, when the image information of the fixed camera is image-converted by the planar projective transformation, the planar portion of the road surface is accurately converted into an image, but an error occurs in the image conversion of the three-dimensional object 71 deviating from the planar portion.

図９（Ａ）～（Ｃ）は、図５に示される撮影方向変換部１３３によって行われる処理の他の例を示す図である。撮影方向変換部１３３は、路面上方から撮影した画像への変換に代えて、図９（Ｂ）に示される移動カメラＣの撮影画像の撮影方向を、図９（Ａ）に示される第１の固定カメラＡの撮影方向と一致するように、図９（Ｃ）に示されるように、移動カメラＣの撮影画像を変換する。同様に、撮影方向変換部１３３は、移動カメラＣの撮影画像の撮影方向を、他の固定カメラの撮影方向と一致するように、移動カメラＣの撮影画像を変換する。この場合、移動カメラＣの視点移動は、３次元形状の物体７１が計測済みであるため、路面の平面部分だけでなく３次元形状の物体７１も正確に画像変換される。 9 (A) to 9 (C) are diagrams showing other examples of the processing performed by the photographing direction changing unit 133 shown in FIG. The shooting direction changing unit 133 changes the shooting direction of the shot image of the moving camera C shown in FIG. 9 (B) into the first shot direction shown in FIG. 9 (A) instead of converting the image taken from above the road surface. As shown in FIG. 9C, the captured image of the moving camera C is converted so as to match the imaging direction of the fixed camera A. Similarly, the shooting direction changing unit 133 converts the shooting image of the moving camera C so that the shooting direction of the shot image of the moving camera C matches the shooting direction of the other fixed camera. In this case, since the three-dimensionally shaped object 71 has already been measured for the viewpoint movement of the moving camera C, not only the flat portion of the road surface but also the three-dimensionally shaped object 71 is accurately converted into an image.

図１０（Ａ）～（Ｄ）は、図５に示される類似画像検出部１３４によって行われる処理を示す図である。類似画像検出部１３４は、撮影方向変換部１３３で画像変換した第１の固定カメラＡの撮影画像と移動カメラＣの撮影画像との類似性を評価して、画像マッチングする画像情報を探索する。また、類似画像検出部１３４は、撮影方向変換部１３３で画像変換した他の固定カメラの撮影画像と移動カメラＣの撮影画像との類似性をも評価して、画像マッチングする画像情報を探索する。類似性の評価は、類似性を数値化した類似度が、予め決められた閾値以上であるか否かを判定することで行われる。また、類似度が閾値以上の画像同士の相対位置が検出される。 10 (A) to 10 (D) are diagrams showing the processing performed by the similar image detection unit 134 shown in FIG. The similar image detection unit 134 evaluates the similarity between the image captured by the first fixed camera A and the image captured by the moving camera C, which have been image-converted by the imaging direction changing unit 133, and searches for image information for image matching. Further, the similar image detection unit 134 also evaluates the similarity between the image captured by the other fixed camera image-converted by the image conversion unit 133 and the image captured by the moving camera C, and searches for image information for image matching. .. The evaluation of similarity is performed by determining whether or not the degree of similarity obtained by quantifying the similarity is equal to or higher than a predetermined threshold value. In addition, relative positions between images whose similarity is equal to or higher than the threshold value are detected.

類似性の評価手法の一例としては、Ｂａｇｓ Ｏｆ Ｖｉｓｕａｌ Ｗｏｒｄｓが挙げられる。固定カメラと移動カメラの撮影画像内から特徴点を抽出する特徴点の抽出方法としては、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）又はＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ）などが知られている。類似画像検出部１３４は、例えば、図１０（Ａ）に示されるように、第１の固定カメラＡによって撮影された映像（例えば、第１の映像Ｐ１及び第３の映像Ｐ３）及びに移動カメラＣによって撮影された映像（例えば、第２の映像Ｐ２及び第４の映像Ｐ４）に基づいて、特徴量ごとに撮影画像内の特徴点を分類し、図１０（Ｂ）～（Ｄ）に示されるように、各特徴量の特徴点数を計測してヒストグラムを作成する。類似画像検出部１３４は、ヒストグラムが近い撮影画像は、互いの類似度が高いと評価する。例えば、類似画像検出部１３４は、互いの類似度が予め決められた閾値以上である撮影画像は、互いに類似画像として検出する。また、類似画像検出部１３４は、第１の固定カメラＡの変換後の撮影画像と移動カメラＣの変換後の撮影画像で、特徴量の類似度が高い特徴点を検出して画像マッチングすることで、固定カメラと移動カメラの画像情報同士の対応点を検出できる。 As an example of the similarity evaluation method, Bags Of Visual Words can be mentioned. As a method for extracting feature points from images taken by a fixed camera and a moving camera, ORB (Oriented FAST and Rotated BRIEF) or AKAZE (Accelerated KAZE) is known. The similar image detection unit 134 is, for example, as shown in FIG. 10 (A), an image taken by the first fixed camera A (for example, the first image P1 and the third image P3) and a moving camera. Based on the images captured by C (for example, the second image P2 and the fourth image P4), the feature points in the captured image are classified according to the feature amount, and are shown in FIGS. 10 (B) to 10 (D). A histogram is created by measuring the number of feature points of each feature quantity. The similar image detection unit 134 evaluates that the captured images having similar histograms have a high degree of similarity to each other. For example, the similar image detection unit 134 detects captured images whose similarity is equal to or higher than a predetermined threshold value as similar images to each other. Further, the similar image detection unit 134 detects and matches the feature points having a high degree of similarity in the feature amount between the converted captured image of the first fixed camera A and the converted captured image of the moving camera C. It is possible to detect the corresponding points between the image information of the fixed camera and the moving camera.

以上のように、複数のカメラの撮影画像は、撮影方向が一致した撮影画像に変換されるので、類似画像の探索の精度が向上する。 As described above, the images captured by the plurality of cameras are converted into images captured in the same shooting direction, so that the accuracy of searching for similar images is improved.

図１１は、相対位置検出装置１０の動作を示すフローチャートである。先ず、映像受信部１１０は、複数のカメラ４１、４２、４３、…によって撮影された複数の映像を受信する（ステップＳ１）。次に、カメラ判定部１２０は、複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定する（ステップＳ２）。 FIG. 11 is a flowchart showing the operation of the relative position detection device 10. First, the video receiving unit 110 receives a plurality of videos captured by the plurality of cameras 41, 42, 43, ... (Step S1). Next, the camera determination unit 120 determines whether each of the plurality of images is an image taken by a fixed camera or an image taken by a moving camera (step S2).

次に、対応画像探索部１３０は、第１の固定カメラＡによって撮影された第１の映像Ｐ１の撮影方向と移動カメラＣによって撮影された第２の映像Ｐ２の撮影方向とを近づける第１の変換処理を行い、第１の変換処理の後に、第１の映像Ｐ１に含まれる複数枚の撮影画像である第１の画像と第２の映像Ｐ２に含まれる複数枚の撮影画像である第２の画像とのうちの、同一の第１の空間領域内で撮影された、互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像と第２の画像とを検出する第１の検出処理を行う。また、対応画像探索部１３０は、同様の処置を第２の固定カメラＢについて行う（ステップＳ３）。 Next, the corresponding image search unit 130 brings the shooting direction of the first image P1 shot by the first fixed camera A and the shooting direction of the second video P2 shot by the moving camera C close to each other. The conversion process is performed, and after the first conversion process, the first image, which is a plurality of captured images included in the first video P1, and the second image, which is a plurality of captured images included in the second video P2. The first image and the second image including the first corresponding image portion of the images, which are taken in the same first spatial region and whose similarity to each other is equal to or higher than a predetermined threshold value. The first detection process for detecting and is performed. Further, the corresponding image search unit 130 performs the same procedure for the second fixed camera B (step S3).

次に、第１の相対位置算出部１４０は、第１の固定カメラＡと第１の対応画像部分を含む第２の画像を撮影したときの移動カメラＣとの間の第１の相対位置を算出する。第１の相対位置算出部１４０は、同様の処置を第２の固定カメラＢについて行い、第２の相対位置を算出する（ステップＳ４）。 Next, the first relative position calculation unit 140 determines the first relative position between the first fixed camera A and the moving camera C when the second image including the first corresponding image portion is taken. calculate. The first relative position calculation unit 140 performs the same procedure for the second fixed camera B, and calculates the second relative position (step S4).

次に、移動カメラ位置算出部１５０は、移動カメラＣによって撮影された映像（例えば、第２の映像Ｐ２及び第４の映像Ｐ４）に基づいて、例えば、ＳＬＡＭなどの方法によって、移動カメラＣの位置を算出する（ステップＳ５）。 Next, the moving camera position calculation unit 150 uses a method such as SLAM based on the images taken by the moving camera C (for example, the second image P2 and the fourth image P4), and the moving camera position calculation unit 150 of the moving camera C. The position is calculated (step S5).

次に、第２の相対位置算出部１６０は、第１の相対位置と、第２の相対位置と、移動カメラ位置算出部１５０によって算出された移動カメラＣの位置とに基づいて、２つの固定カメラ（例えば、第１の固定カメラＡと第２の固定カメラＢ）との間の相対位置である第３の相対位置を算出する（ステップＳ６）。 Next, the second relative position calculation unit 160 has two fixed positions based on the first relative position, the second relative position, and the position of the moving camera C calculated by the moving camera position calculation unit 150. A third relative position, which is a relative position between the camera (for example, the first fixed camera A and the second fixed camera B), is calculated (step S6).

図１２は、相対位置検出装置１０の対応画像探索部１３０の動作を示すフローチャートである。対応画像探索部１３０は、第１の固定カメラＡによって撮影された第１の映像Ｐ１に基づいて路面を検出し、第２の固定カメラＢによって撮影された第３の映像Ｐ３に基づいて路面を検出し（ステップＳ１１）、検出された路面に基づいて第１の固定カメラＡの撮影方向と第２の固定カメラＢの撮影方向とを検出する（ステップＳ１２）。 FIG. 12 is a flowchart showing the operation of the corresponding image search unit 130 of the relative position detection device 10. The corresponding image search unit 130 detects the road surface based on the first image P1 captured by the first fixed camera A, and searches for the road surface based on the third image P3 captured by the second fixed camera B. It is detected (step S11), and the shooting direction of the first fixed camera A and the shooting direction of the second fixed camera B are detected based on the detected road surface (step S12).

次に、対応画像探索部１３０は、移動カメラＣによって撮影された第２の映像Ｐ２及び第４の映像Ｐ４に基づいて路面を検出し、検出された路面に基づいて移動カメラＣの第２の映像Ｐ２の撮影方向及び第４の映像Ｐ４の撮影方向を検出し（ステップＳ１３）、第１の固定カメラＡの撮影方向、第２の固定カメラの撮影方向、及び移動カメラＣの撮影方向に基づいて、第１及び第２の変換処理を行う（ステップＳ１４）。次に、対応画像探索部１３０は、変換処理後に、対応画像部分の類似度を算出し、類似度が予め決められた閾値以上の対応画像部分を含む画像を検出する第１及び第２の検出処理を行う（ステップＳ１５）。 Next, the corresponding image search unit 130 detects the road surface based on the second image P2 and the fourth image P4 captured by the moving camera C, and the second image of the moving camera C is based on the detected road surface. The shooting direction of the image P2 and the shooting direction of the fourth image P4 are detected (step S13), and based on the shooting direction of the first fixed camera A, the shooting direction of the second fixed camera, and the shooting direction of the moving camera C. Then, the first and second conversion processes are performed (step S14). Next, the corresponding image search unit 130 calculates the similarity of the corresponding image portion after the conversion process, and detects the images including the corresponding image portion whose similarity is equal to or higher than a predetermined threshold value. Perform processing (step S15).

以上に説明したように、実施の形態１に係る相対位置検出装置１０によれば、複数のカメラで異なる撮影方向から撮影した映像情報であっても、画像変換することで撮影方向を互いに近づける（望ましくは、一致させる）変換処理を実行し、その後、類似画像を検出するので、固定カメラと移動カメラとの対応画像を探索することが可能である。その結果、相対位置検出装置１０は、固定カメラと移動カメラとの間の相対位置である第１及び第２の相対位置を検出することができる。また、相対位置検出装置１０は、第１及び第２の相対位置と移動カメラの位置とに基づいて固定カメラ間の相対位置である第３の相対位置を検出することができる。 As described above, according to the relative position detection device 10 according to the first embodiment, even if the video information is shot from different shooting directions by a plurality of cameras, the shooting directions are brought closer to each other by image conversion (the shooting directions are brought closer to each other). Since the conversion process (desirably to match) is executed and then the similar image is detected, it is possible to search for the corresponding image between the fixed camera and the moving camera. As a result, the relative position detection device 10 can detect the first and second relative positions which are the relative positions between the fixed camera and the moving camera. Further, the relative position detection device 10 can detect a third relative position, which is a relative position between the fixed cameras, based on the first and second relative positions and the position of the moving camera.

実施の形態２
図１３は、実施の形態２に係る相対位置検出装置２０の構成を概略的に示す機能ブロック図である。図１３において、図４に示される構成要素と同一又は対応する構成要素には、図４に示される符号と同じ符号が付されている。相対位置検出装置２０は、実施の形態２に係る相対位置検出方法を実施することができる装置である。相対位置検出装置２０は、実施の形態１における第１の路面検出部１３１、第２の路面検出部１３２、及び撮影方向変換部１３３に代えて、拡大縮小率変換部２３１を備えた点が、実施の形態１に係る相対位置検出装置１０と異なる。ただし、相対位置検出装置２０は、実施の形態１における第１の路面検出部１３１、第２の路面検出部１３２、及び撮影方向変換部１３３に加えて、拡大縮小率変換部２３１を備えてもよい。Embodiment 2
FIG. 13 is a functional block diagram schematically showing the configuration of the relative position detection device 20 according to the second embodiment. In FIG. 13, the same or corresponding components as those shown in FIG. 4 are designated by the same reference numerals as those shown in FIG. The relative position detection device 20 is a device capable of implementing the relative position detection method according to the second embodiment. The relative position detection device 20 includes the enlargement / reduction ratio conversion unit 231 in place of the first road surface detection unit 131, the second road surface detection unit 132, and the photographing direction conversion unit 133 in the first embodiment. It is different from the relative position detection device 10 according to the first embodiment. However, even if the relative position detection device 20 includes the enlargement / reduction ratio conversion unit 231 in addition to the first road surface detection unit 131, the second road surface detection unit 132, and the photographing direction conversion unit 133 in the first embodiment. good.

対応画像探索部２３０の拡大縮小率変換部２３１は、第１の固定カメラＡによって撮影された第１の映像Ｐ１と移動カメラＣによって撮影された第２の映像Ｐ２とに基づいて第１の映像Ｐ１の第１の拡大縮小率（すなわち、第１のスケール）と第２の映像Ｐ２の第２の拡大縮小率（すなわち、第２のスケール）とを決定し、第１の拡大縮小率を用いて第１の映像Ｐ１を拡大縮小処理し、第２の拡大縮小率を用いて第２の映像Ｐ２を拡大縮小処理する第１の拡大縮小処理を行い、第１の拡大縮小処理の後に実施の形態１で説明した第１の検出処理を行う。また、拡大縮小率変換部２３１は、第２の固定カメラＢによって撮影された第３の映像Ｐ３と移動カメラＣによって撮影された第４の映像Ｐ４とに基づいて第３の映像Ｐ３の第３の拡大縮小率（すなわち、第３のスケール）と第４の映像Ｐ４の第４の拡大縮小率（すなわち、第４のスケール）とを決定し、第３の拡大縮小率を用いて第３の映像Ｐ３を拡大縮小処理し、第４の拡大縮小率を用いて第４の映像Ｐ４を拡大縮小処理する第２の拡大縮小処理を行い、第２の拡大縮小処理の後に実施の形態１で説明した第２の検出処理を行う。 The enlargement / reduction ratio conversion unit 231 of the corresponding image search unit 230 is based on the first image P1 captured by the first fixed camera A and the second image P2 captured by the mobile camera C. The first scaling factor (that is, the first scale) of P1 and the second scaling factor (that is, the second scale) of the second video P2 are determined, and the first scaling factor is used. The first image P1 is enlarged / reduced, the second image P2 is enlarged / reduced using the second enlargement / reduction ratio, and the first enlargement / reduction process is performed. The first detection process described in the first embodiment is performed. Further, the enlargement / reduction ratio conversion unit 231 is based on the third image P3 captured by the second fixed camera B and the fourth image P4 captured by the mobile camera C, and the third image P3 of the third image P3. The scaling factor (that is, the third scale) and the fourth scaling factor (that is, the fourth scale) of the fourth video P4 are determined, and the third scaling factor is used to determine the third scaling factor. A second enlargement / reduction process is performed in which the image P3 is enlarged / reduced and the fourth image P4 is enlarged / reduced using the fourth enlargement / reduction ratio, and the second enlargement / reduction process is followed by the first embodiment. The second detection process is performed.

具体的に言えば、対応画像探索部２３０は、固定カメラの撮影画像のスケール（すなわち、長さ基準）と移動カメラの撮影画像とのスケールとを互いに近づける（望ましくは、互いに一致させる）ように、撮影画像の拡大縮小率を設定する。例えば、移動物体の移動距離が算出可能な場合は、対応画像探索部２３０は、固定カメラの撮影画像内に映る移動物体の移動範囲（すなわち、撮影画像における移動長さ）と算出された移動物体の移動距離（すなわち、現実の移動距離）とに基づいて、固定カメラの撮影画像のスケールを算出する。また、対応画像探索部２３０は、移動カメラの撮影画像のスケールを、例えば、ＳＬＡＭによって得られた移動カメラの移動結果と算出された移動物体の移動距離とを比較することで算出することができる。 Specifically, the corresponding image search unit 230 brings the scale of the image captured by the fixed camera (that is, the length reference) and the scale of the image captured by the moving camera close to each other (preferably, they match each other). , Set the enlargement / reduction ratio of the captured image. For example, when the moving distance of a moving object can be calculated, the corresponding image search unit 230 uses the calculated moving object as the moving range of the moving object (that is, the moving length in the captured image) reflected in the captured image of the fixed camera. The scale of the image taken by the fixed camera is calculated based on the moving distance of (that is, the actual moving distance). Further, the corresponding image search unit 230 can calculate the scale of the image captured by the moving camera by, for example, comparing the movement result of the moving camera obtained by SLAM with the calculated moving distance of the moving object. ..

類似画像検出部１３４は、拡大縮小処理された固定カメラの撮影画像と拡大縮小処理された移動カメラの撮影画像との類似性を評価して、画像マッチングする画像を探索する。類似画像検出部１３４による類似画像の検出処理は、実施の形態１のものと同様である。 The similar image detection unit 134 evaluates the similarity between the image captured by the fixed camera that has undergone enlargement / reduction processing and the image captured by the moving camera that has undergone enlargement / reduction processing, and searches for an image that matches the image. The detection process of the similar image by the similar image detection unit 134 is the same as that of the first embodiment.

以上のように、実施の形態２では、複数のカメラの撮影画像は、スケールが一致した撮影画像に変換した後に、類似性が評価されるので、類似画像の検出の精度が向上する。 As described above, in the second embodiment, the images captured by the plurality of cameras are converted into captured images having the same scale, and then the similarity is evaluated, so that the accuracy of detecting similar images is improved.

図１４（Ａ）～（Ｄ）は、図１３に示される拡大縮小率変換部２３１によって行われる処理を示す図である。拡大縮小率変換部２３１は、固定カメラの撮影画像のスケールと移動カメラの撮影画像のスケールとを互いに近づける（望ましくは、互いに一致させる）ために拡大縮小処理を行う。図１４（Ａ）に示されるように、移動物体８０の移動距離が検出可能な場合には、拡大縮小率変換部２３１は、図１４（Ｂ）に示される第１の固定カメラＡの撮影画像内に映る移動物体８０の移動範囲と移動物体８０の移動距離とに基づいて、第１の固定カメラＡの拡大縮小率を算出する。拡大縮小率変換部２３１は、第１の固定カメラＡの撮影画像を路面上方から撮影した画像へ変換する。拡大縮小率変換部２３１は、この画像上で移動物体８０が移動した移動範囲と、移動物体８０の現実の移動距離とを比較することで、路面位置における撮影画像の拡大縮小率を算出することができる。拡大縮小率変換部２３１は、第２の固定カメラＢの撮影画像の拡大縮小率も、同様に算出する。 14 (A) to 14 (D) are diagrams showing the processing performed by the enlargement / reduction ratio conversion unit 231 shown in FIG. The enlargement / reduction ratio conversion unit 231 performs an enlargement / reduction process in order to bring the scale of the image captured by the fixed camera and the scale of the image captured by the moving camera close to each other (preferably, they match each other). As shown in FIG. 14 (A), when the moving distance of the moving object 80 can be detected, the enlargement / reduction ratio conversion unit 231 captures an image of the first fixed camera A shown in FIG. 14 (B). The enlargement / reduction ratio of the first fixed camera A is calculated based on the moving range of the moving object 80 reflected inside and the moving distance of the moving object 80. The enlargement / reduction ratio conversion unit 231 converts the image captured by the first fixed camera A into an image captured from above the road surface. The enlargement / reduction ratio conversion unit 231 calculates the enlargement / reduction ratio of the captured image at the road surface position by comparing the moving range in which the moving object 80 has moved on this image with the actual moving distance of the moving object 80. Can be done. The enlargement / reduction ratio conversion unit 231 also calculates the enlargement / reduction ratio of the captured image of the second fixed camera B in the same manner.

拡大縮小率変換部２３１は、移動物体８０の移動距離が検出不能な場合には、図１４（Ｃ）及び（Ｄ）に示されるように、移動カメラの映像情報を用いたＶｉｓｕａｌ－ＳＬＡＭによって、移動カメラの移動距離を算出してもよい。図１４（Ｃ）及び（Ｄ）の場合には、拡大縮小率変換部２３１は、図１４（Ａ）及び（Ｂ）の場合と同様に、固定カメラの撮影画像を路面上方から撮影した画像情報へ変換することで、固定カメラの画像拡大縮小率を算出することができる。 When the moving distance of the moving object 80 cannot be detected, the enlargement / reduction ratio conversion unit 231 uses Visual-SLAM using the image information of the moving camera as shown in FIGS. 14 (C) and 14 (D). The moving distance of the moving camera may be calculated. In the case of FIGS. 14 (C) and 14 (D), the enlargement / reduction ratio conversion unit 231 captures the image information taken by the fixed camera from above the road surface as in the case of FIGS. 14 (A) and 14 (B). By converting to, the image enlargement / reduction ratio of the fixed camera can be calculated.

図１５は、図１３に示される対応画像探索部２３０の動作を示すフローチャートである。先ず、拡大縮小率変換部２３１は、固定カメラによって撮影された映像に基づいて移動している物体（例えば、移動中の移動物体である人、車両、など）を検出し、その移動情報を取得する（ステップＳ２１）。次に、拡大縮小率変換部２３１は、図１４（Ｃ）及び（Ｄ）に示されるように、移動カメラで撮影された映像に基づいて移動カメラの移動情報を算出する（ステップＳ２２）。 FIG. 15 is a flowchart showing the operation of the corresponding image search unit 230 shown in FIG. First, the enlargement / reduction ratio conversion unit 231 detects a moving object (for example, a moving object such as a person, a vehicle, etc.) based on an image taken by a fixed camera, and acquires the movement information. (Step S21). Next, as shown in FIGS. 14 (C) and 14 (D), the enlargement / reduction ratio conversion unit 231 calculates the movement information of the moving camera based on the image taken by the moving camera (step S22).

次に、拡大縮小率変換部２３１は、移動物体の移動情報と移動カメラの移動情報とに基づいて固定カメラと移動カメラの撮影画像の拡大縮小率を算出する（ステップＳ２３）。次に、拡大縮小率変換部２３１は、算出された拡大縮小率を用いて画像の拡大縮小処理を行う（ステップＳ２４）。この拡大縮小処理は、上記した第１及び第２の拡大縮小処理である。次に、拡大縮小率変換部２３１は、実施の形態１で説明した第１及び第２の検出処理を行う（ステップＳ２５）。 Next, the enlargement / reduction ratio conversion unit 231 calculates the enlargement / reduction ratio of the images captured by the fixed camera and the moving camera based on the movement information of the moving object and the movement information of the moving camera (step S23). Next, the enlargement / reduction ratio conversion unit 231 performs an image enlargement / reduction process using the calculated enlargement / reduction ratio (step S24). This scaling process is the first and second scaling process described above. Next, the enlargement / reduction ratio conversion unit 231 performs the first and second detection processes described in the first embodiment (step S25).

以上に説明したように、実施の形態２に係る相対位置検出装置２０によれば、複数のカメラで撮影した映像を拡大縮小処理した後に、類似画像を検出するので、固定カメラと移動カメラとの対応画像を探索することが可能である。その結果、相対位置検出装置２０は、固定カメラと移動カメラとの間の相対位置である第１及び第２の相対位置を検出することができる。また、相対位置検出装置２０は、第１及び第２の相対位置と移動カメラの位置とに基づいて固定カメラ間の相対位置である第３の相対位置を検出することができる。 As described above, according to the relative position detection device 20 according to the second embodiment, since the similar image is detected after the images taken by the plurality of cameras are enlarged / reduced, the fixed camera and the moving camera are used. It is possible to search for the corresponding image. As a result, the relative position detection device 20 can detect the first and second relative positions, which are the relative positions between the fixed camera and the moving camera. Further, the relative position detection device 20 can detect a third relative position, which is a relative position between the fixed cameras, based on the first and second relative positions and the position of the moving camera.

なお、上記以外の点に関し、実施の形態２は、実施の形態１と同じである。 In addition, regarding the points other than the above, the second embodiment is the same as the first embodiment.

実施の形態３
図１６は、実施の形態３に係る相対位置検出装置３０の構成を概略的に示す機能ブロック図である。図１６において、図４に示される構成要素と同一又は対応する構成要素には、図４に示される符号と同じ符号が付されている。相対位置検出装置３０は、実施の形態３に係る相対位置検出方法を実施することができる装置である。実施の形態３に係る相対位置検出装置３０は、実施の形態１における第１の路面検出部１３１、第２の路面検出部１３２、及び撮影方向変換部１３３に代えて、画像選定部３３１を備えた点が、実施の形態１に係る相対位置検出装置１０と異なる。ただし、相対位置検出装置３０は、実施の形態１における第１の路面検出部１３１、第２の路面検出部１３２、及び撮影方向変換部１３３に加えて、画像選定部３３１を備えてもよい。また、相対位置検出装置３０は、実施の形態２における拡大縮小率変換部２３１に加えて、画像選定部３３１を備えてもよい。Embodiment 3
FIG. 16 is a functional block diagram schematically showing the configuration of the relative position detection device 30 according to the third embodiment. In FIG. 16, components that are the same as or correspond to the components shown in FIG. 4 are designated by the same reference numerals as those shown in FIG. The relative position detection device 30 is a device capable of implementing the relative position detection method according to the third embodiment. The relative position detection device 30 according to the third embodiment includes an image selection unit 331 instead of the first road surface detection unit 131, the second road surface detection unit 132, and the photographing direction changing unit 133 in the first embodiment. The above point is different from the relative position detection device 10 according to the first embodiment. However, the relative position detection device 30 may include an image selection unit 331 in addition to the first road surface detection unit 131, the second road surface detection unit 132, and the photographing direction changing unit 133 in the first embodiment. Further, the relative position detection device 30 may include an image selection unit 331 in addition to the enlargement / reduction ratio conversion unit 231 according to the second embodiment.

相対位置検出装置３０の対応画像探索部３３０は、画像選定部３３１と、類似画像検出部１３４とを有している。画像選定部３３１は、固定カメラの撮影画像から、画像マッチングに使用する画像を選定する。 The corresponding image search unit 330 of the relative position detection device 30 has an image selection unit 331 and a similar image detection unit 134. The image selection unit 331 selects an image to be used for image matching from the images taken by the fixed camera.

例えば、画像選定部３３１は、第１の固定カメラＡによって撮影された第１の映像Ｐ１において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第１の候補画像を抽出し、複数枚の第１の候補画像から第１の対応画像部分を含む第１の画像（例えば、図１０（Ｂ）に示される）を検出する。また、画像選定部３３１は、移動カメラＣによって撮影された第２の映像Ｐ２において第１の固定カメラＡが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第２の候補画像を抽出し、複数枚の第２の候補画像から第１の対応画像部分を含む記第２の画像（例えば、図１０（Ｃ）に示される）を検出する。第１の対応画像部分は、例えば、図１０（Ａ）に示される物体７１を撮影して得られる画像部分である。 For example, the image selection unit 331 includes a plurality of images included in a predetermined time range before and after the time when a moving object is detected in the first image P1 captured by the first fixed camera A. The first candidate image of the above is extracted, and the first image (for example, shown in FIG. 10B) including the first corresponding image portion is detected from the plurality of first candidate images. Further, the image selection unit 331 includes a plurality of second images included within a predetermined time range before and after the time when the first fixed camera A is detected in the second image P2 captured by the moving camera C. The candidate image of the above is extracted, and the second image (for example, shown in FIG. 10C) including the first corresponding image portion is detected from the plurality of second candidate images. The first corresponding image portion is, for example, an image portion obtained by photographing the object 71 shown in FIG. 10 (A).

また、画像選定部３３１は、第２の固定カメラＢによって撮影された第３の映像Ｐ３において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第３の候補画像を抽出し、複数枚の第３の候補画像から第２の対応画像部分を含む第３の画像を検出する。また、画像選定部３３１は、移動カメラＣによって撮影された第４の映像Ｐ４において第２の固定カメラＢが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第４の候補画像を抽出し、複数枚の第４の候補画像から第２の対応画像部分を含む第４の画像（例えば、図１０（Ｄ）に示される）を検出する。第２の対応画像部分は、例えば、図１０（Ａ）に示される物体７２を撮影して得られる画像部分である。 Further, the image selection unit 331 includes a plurality of images included in a predetermined time range before and after the time when the moving object is detected in the third image P3 captured by the second fixed camera B. The third candidate image is extracted, and the third image including the second corresponding image portion is detected from the plurality of third candidate images. Further, the image selection unit 331 includes a plurality of fourth images included within a predetermined time range before and after the time when the second fixed camera B is detected in the fourth image P4 captured by the moving camera C. Candidate images are extracted, and a fourth image (for example, shown in FIG. 10D) including a second corresponding image portion is detected from a plurality of fourth candidate images. The second corresponding image portion is, for example, an image portion obtained by photographing the object 72 shown in FIG. 10 (A).

類似画像検出部１３４は、固定カメラの撮影画像と移動カメラの撮影画像との類似性を評価して、画像マッチングする画像を探索する。類似画像検出部１３４による類似画像の検出処理は、実施の形態１又は２のものと同様である。 The similar image detection unit 134 evaluates the similarity between the image captured by the fixed camera and the image captured by the moving camera, and searches for an image that matches the image. The detection process of the similar image by the similar image detection unit 134 is the same as that of the first or second embodiment.

以上のように、実施の形態３では、類似画像の検索対象となる画像量を削減できるので、類似画像の検出精度と処理速度が向上する。 As described above, in the third embodiment, the amount of images to be searched for similar images can be reduced, so that the detection accuracy and processing speed of similar images are improved.

図１７（Ａ）～（Ｃ）は、図１６に示される画像選定部３３１によって行われる処理を示す図である。画像選定部３３１は、図１７（Ａ）に示されるように、第１の固定カメラＡの撮影画像から類似画像の検出対象となる画像を選定する。画像選定部３３１は、第１の固定カメラＡの撮影領域内に移動している物体が存在する時間の前後に撮影した画像を画像マッチングの対象画像と選定する。画像選定部３３１は、図１７（Ｂ）に示されるように、第１の固定カメラＡの撮影画像の差分に基づいて、第１の固定カメラＡの撮影画像に、移動している物体があることを検出する。次に、画像選定部３３１は、図１７（Ｃ）に示されるように、第１の固定カメラＡの撮影画像に、移動している物体があることが検出された時刻の前後の予め決められた時間範囲内の撮影画像を候補画像（すなわち、複数枚の第１の候補画像）として選定する。画像選定部３３１は、第２の固定カメラＢの撮影画像についても、同様の処理を行って、候補画像（すなわち、複数枚の第３の候補画像）を選定する。 17 (A) to 17 (C) are diagrams showing the processing performed by the image selection unit 331 shown in FIG. As shown in FIG. 17A, the image selection unit 331 selects an image to be detected as a similar image from the images captured by the first fixed camera A. The image selection unit 331 selects images taken before and after the time when the moving object exists in the shooting area of the first fixed camera A as the target image for image matching. As shown in FIG. 17B, the image selection unit 331 has a moving object in the captured image of the first fixed camera A based on the difference between the captured images of the first fixed camera A. Detect that. Next, as shown in FIG. 17C, the image selection unit 331 is predetermined before and after the time when it is detected that there is a moving object in the captured image of the first fixed camera A. The captured image within the time range is selected as a candidate image (that is, a plurality of first candidate images). The image selection unit 331 also performs the same processing on the captured image of the second fixed camera B to select a candidate image (that is, a plurality of third candidate images).

図１８（Ａ）及び（Ｂ）は、図１６に示される対応画像探索部３３０の動作を示すフローチャートである。移動カメラＣがドライブレコーダ等のカメラであることが既知である場合、図１８（Ａ）に示されるように、画像選定部３３１は、固定カメラの撮影画像内に車両などの移動している物体が検出された時刻を抽出し保持し（ステップＳ３１）、移動している物体を検出した時刻の前後の予め決められた時間範囲内の画像を画像マッチングの対象画像である候補画像（例えば、複数枚の第１の候補画像、及び複数枚の第３の候補画像）として選定する（ステップＳ３２）。次に、類似画像検出部１３４は、候補画像を用いて類似度を算出し、類似度が予め決められた閾値以上の画像を検出する（ステップＳ３３）。 18 (A) and 18 (B) are flowcharts showing the operation of the corresponding image search unit 330 shown in FIG. When it is known that the moving camera C is a camera such as a drive recorder, as shown in FIG. 18A, the image selection unit 331 is a moving object such as a vehicle in the captured image of the fixed camera. Is extracted and held (step S31), and images within a predetermined time range before and after the time when a moving object is detected are candidate images (for example, a plurality) which are target images for image matching. It is selected as a first candidate image and a plurality of third candidate images (step S32). Next, the similar image detection unit 134 calculates the similarity using the candidate images, and detects an image having a similarity equal to or higher than a predetermined threshold value (step S33).

また、図１８（Ｂ）に示されるように、画像選定部３３１は、移動カメラＣによって撮影された映像に基づいて、第１の固定カメラＡが検出された時刻を抽出し保持し（ステップＳ４１）、第１の固定カメラＡを検出した時刻の前後の予め決められた時間範囲内の画像を画像マッチングの対象画像である候補画像（例えば、複数枚の第２の候補画像）として選定する（ステップＳ４２）。画像選定部３３１は、移動カメラＣによって撮影された映像に第２の固定カメラＢが検出された際にも、同様の処理を行って、候補画像（例えば、複数枚の第４の候補画像）を選定する。次に、類似画像検出部１３４は、候補画像を用いて類似度を算出し、類似度が予め決められた閾値以上の画像を検出する（ステップＳ４３）。 Further, as shown in FIG. 18B, the image selection unit 331 extracts and holds the time when the first fixed camera A is detected based on the image taken by the moving camera C (step S41). ), An image within a predetermined time range before and after the time when the first fixed camera A is detected is selected as a candidate image (for example, a plurality of second candidate images) as a target image for image matching (for example). Step S42). When the second fixed camera B is detected in the image captured by the moving camera C, the image selection unit 331 performs the same processing to perform the same processing, and the candidate image (for example, a plurality of fourth candidate images). To select. Next, the similar image detection unit 134 calculates the similarity using the candidate images, and detects an image having a similarity equal to or higher than a predetermined threshold value (step S43).

以上に説明したように、実施の形態３に係る相対位置検出装置２０によれば、複数のカメラで撮影した映像に含まれる複数枚の撮影画像の一部についてのみ類似画像を検出する処理を行うので、固定カメラと移動カメラとの対応画像の探索処理の情報処理量を削減することが可能である。 As described above, according to the relative position detection device 20 according to the third embodiment, a process of detecting a similar image is performed only for a part of a plurality of captured images included in the images captured by the plurality of cameras. Therefore, it is possible to reduce the amount of information processing in the search processing of the corresponding image between the fixed camera and the moving camera.

なお、上記以外の点に関し、実施の形態３は、実施の形態１又は２と同じである。 In addition, regarding the points other than the above, the third embodiment is the same as the first or second embodiment.

１０、２０、３０ 相対位置検出装置、 ４１、４２、４３、４４、… カメラ、 ６０ サーバ、 ７０ 路面、 ７１、７２ 物体、 ８０ 移動物体、 １１０ 映像受信部、 １２０ カメラ判定部、 １３０、２３０、３３０ 対応画像探索部、 １３１ 第１の路面検出部、 １３２ 第２の路面検出部、 １３３ 撮影方向変換部、 １３４ 類似画像検出部、 １４０ 第１の相対位置算出部、 １５０ 移動カメラ位置算出部、 １６０ 第２の相対位置算出部、 ２３１ 拡大縮小率変換部、 ３３１ 画像選定部、 Ａ 第１の固定カメラ、 Ｂ 第２の固定カメラ、 Ｃ 移動カメラ、 Ｐ１ 第１の映像、 Ｐ２ 第２の映像、 Ｐ３ 第３の映像、 Ｐ４ 第４の映像。 10, 20, 30 Relative position detector, 41, 42, 43, 44, ... Camera, 60 server, 70 road surface, 71, 72 objects, 80 moving objects, 110 image receiver, 120 camera judgment unit, 130, 230, 330 Corresponding image search unit, 131 1st road surface detection unit, 132 2nd road surface detection unit, 133 shooting direction conversion unit, 134 similar image detection unit, 140 1st relative position calculation unit, 150 mobile camera position calculation unit, 160 2nd relative position calculation unit, 231 enlargement / reduction ratio conversion unit, 331 image selection unit, A 1st fixed camera, B 2nd fixed camera, C mobile camera, P1 1st image, P2 2nd image , P3 3rd image, P4 4th image.

Claims (9)

複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するカメラ判定部と、
前記複数のカメラのうちの第１の固定カメラによって撮影された第１の映像の撮影方向と前記移動カメラによって撮影された第２の映像の撮影方向とを近づける第１の変換処理を行い、前記第１の変換処理の後に、前記第１の映像に含まれる複数枚の第１の画像と前記第２の映像に含まれる複数枚の第２の画像とのうちの互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像及び第２の画像を検出する第１の検出処理を行う対応画像探索部と、
前記第１の固定カメラと前記第１の対応画像部分を含む前記第２の画像を撮影したときの前記移動カメラとの間の第１の相対位置を算出する第１の相対位置算出部と、
前記移動カメラの位置を算出する移動カメラ位置算出部と、
第２の相対位置算出部と、
を有し、
前記対応画像探索部は、
前記複数のカメラのうちの第２の固定カメラによって撮影された第３の映像の撮影方向と前記移動カメラによって撮影された第４の映像の撮影方向とを近づける第２の変換処理を行い、
前記第２の変換処理の後に、前記第３の映像に含まれる複数枚の第３の画像と前記第４の映像に含まれる複数枚の第４の画像とのうちの互いの類似度が予め決められた閾値以上である第２の対応画像部分を含む第３の画像及び第４の画像を検出する第２の検出処理を行い、
前記第１の相対位置算出部は、前記第２の固定カメラと前記第２の対応画像部分を含む前記第４の画像を撮影したときの前記移動カメラとの間の第２の相対位置を算出し、
前記第２の相対位置算出部は、前記第１の相対位置と、前記第２の相対位置と、前記移動カメラの位置とに基づいて、前記第１の固定カメラと前記第２の固定カメラとの間の相対位置である第３の相対位置を算出する
ことを特徴とする相対位置検出装置。 A camera determination unit that determines whether each of the plurality of images captured by the plurality of cameras is an image captured by a fixed camera or an image captured by a moving camera.
The first conversion process is performed to bring the shooting direction of the first image shot by the first fixed camera of the plurality of cameras closer to the shooting direction of the second image shot by the moving camera. After the first conversion process, the degree of similarity between the plurality of first images included in the first video and the plurality of second images included in the second video is predetermined. A corresponding image search unit that performs a first detection process for detecting a first image and a second image including a first corresponding image portion that is equal to or higher than a determined threshold.
A first relative position calculation unit that calculates a first relative position between the first fixed camera and the moving camera when the second image including the first corresponding image portion is taken.
The moving camera position calculation unit that calculates the position of the moving camera, and
The second relative position calculation unit and
Have,
The corresponding image search unit is
A second conversion process is performed to bring the shooting direction of the third image shot by the second fixed camera of the plurality of cameras closer to the shooting direction of the fourth image shot by the moving camera.
After the second conversion process, the degree of similarity between the plurality of third images included in the third video and the plurality of fourth images included in the fourth video is determined in advance. A second detection process for detecting the third image and the fourth image including the second corresponding image portion that is equal to or higher than the determined threshold value is performed.
The first relative position calculation unit calculates a second relative position between the second fixed camera and the moving camera when the fourth image including the second corresponding image portion is taken. death,
The second relative position calculation unit includes the first fixed camera and the second fixed camera based on the first relative position, the second relative position, and the position of the moving camera. Calculate the third relative position, which is the relative position between
A relative position detection device characterized by the fact that. 前記対応画像探索部は、
前記第１の映像内において第１の路面を検出し、前記第１の路面に基づいて前記第１の映像の撮影方向を検出し、前記第２の映像内において第２の路面を検出し、前記第２の路面に基づいて前記第２の映像の撮影方向を検出し、前記第１の映像の撮影方向と前記第２の映像の撮影方向とに基づいて前記第１の変換処理を行い、
前記第３の映像内において第３の路面を検出し、前記第３の路面に基づいて前記第３の映像の撮影方向を検出し、前記第４の映像内において第４の路面を検出し、前記第４の路面に基づいて前記第４の映像の撮影方向を検出し、前記第３の映像の撮影方向と前記第４の映像の撮影方向とに基づいて前記第２の変換処理を行う
ことを特徴とする請求項１に記載の相対位置検出装置。 The corresponding image search unit is
The first road surface is detected in the first image, the shooting direction of the first image is detected based on the first road surface, and the second road surface is detected in the second image. The shooting direction of the second image is detected based on the second road surface, and the first conversion process is performed based on the shooting direction of the first image and the shooting direction of the second image.
The third road surface is detected in the third image, the shooting direction of the third image is detected based on the third road surface, and the fourth road surface is detected in the fourth image. The shooting direction of the fourth image is detected based on the fourth road surface, and the second conversion process is performed based on the shooting direction of the third image and the shooting direction of the fourth image. The relative position detecting apparatus according to claim 1 . 前記対応画像探索部は、
前記第１の映像と前記第２の映像とに基づいて前記第１の映像の第１の拡大縮小率と前記第２の映像の第２の拡大縮小率とを決定し、前記第１の拡大縮小率を用いて前記第１の映像を拡大縮小処理し、前記第２の拡大縮小率を用いて前記第２の映像を拡大縮小処理する第１の拡大縮小処理を行い、
前記第１の拡大縮小処理の後に前記第１の検出処理を行い、
前記第３の映像と前記第４の映像とに基づいて前記第３の映像の第３の拡大縮小率と前記第４の映像の第４の拡大縮小率とを決定し、前記第３の拡大縮小率を用いて前記第３の映像を拡大縮小処理し、前記第４の拡大縮小率を用いて前記第４の映像を拡大縮小処理する第２の拡大縮小処理を行い、
前記第２の拡大縮小処理の後に前記第２の検出処理を行う
ことを特徴とする請求項１又は２に記載の相対位置検出装置。 The corresponding image search unit is
Based on the first image and the second image, the first enlargement / reduction ratio of the first image and the second enlargement / reduction rate of the second image are determined, and the first enlargement is performed. The first enlargement / reduction process is performed using the reduction ratio, and the first enlargement / reduction process for scaling the second image is performed using the second enlargement / reduction ratio.
After the first enlargement / reduction process, the first detection process is performed.
Based on the third image and the fourth image, the third enlargement / reduction ratio of the third image and the fourth enlargement / reduction rate of the fourth image are determined, and the third enlargement / reduction ratio is determined. The third image is scaled using the reduction ratio, and the fourth image is scaled using the fourth enlargement / reduction ratio. The second enlargement / reduction process is performed.
The relative position detection device according to claim 1 or 2 , wherein the second detection process is performed after the second enlargement / reduction process. 前記対応画像探索部は、
前記第１の映像において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第１の候補画像を抽出し、
前記複数枚の第１の候補画像から前記第１の対応画像部分を含む前記第１の画像を検出する
ことを特徴とする請求項１から３のいずれか１項に記載の相対位置検出装置。 The corresponding image search unit is
In the first image, a plurality of first candidate images included in a predetermined time range before and after the time when the moving object is detected are extracted.
The relative position detecting apparatus according to any one of claims 1 to 3 , wherein the first image including the first corresponding image portion is detected from the plurality of first candidate images. 前記対応画像探索部は、
前記第２の映像において前記第１の固定カメラが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第２の候補画像を抽出し、
前記複数枚の第２の候補画像から前記第１の対応画像部分を含む前記第２の画像を検出する
ことを特徴とする請求項１から４のいずれか１項に記載の相対位置検出装置。 The corresponding image search unit is
A plurality of second candidate images included in a predetermined time range before and after the time when the first fixed camera was detected in the second video are extracted.
The relative position detecting apparatus according to any one of claims 1 to 4 , wherein the second image including the first corresponding image portion is detected from the plurality of second candidate images. 前記対応画像探索部は、
前記第３の映像において、移動している物体が検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第３の候補画像を抽出し、
前記複数枚の第３の候補画像から前記第２の対応画像部分を含む前記第３の画像を検出する
ことを特徴とする請求項１から３のいずれか１項に記載の相対位置検出装置。 The corresponding image search unit is
In the third image, a plurality of third candidate images included within a predetermined time range before and after the time when the moving object is detected are extracted.
The relative position detecting apparatus according to any one of claims 1 to 3 , wherein the third image including the second corresponding image portion is detected from the plurality of third candidate images. 前記対応画像探索部は、
前記第４の映像において前記第２の固定カメラが検出された時刻の前後の予め決められた時間範囲内に含まれる複数枚の第４の候補画像を抽出し、
前記複数枚の第４の候補画像から前記第２の対応画像部分を含む前記第４の画像を検出する
ことを特徴とする請求項１から３及び６のいずれか１項に記載の相対位置検出装置。 The corresponding image search unit is
A plurality of fourth candidate images included in a predetermined time range before and after the time when the second fixed camera was detected in the fourth video are extracted.
The relative position detection according to any one of claims 1 to 3 and 6 , wherein the fourth image including the second corresponding image portion is detected from the plurality of fourth candidate images. Device. 相対位置検出装置によって実行される相対位置検出方法であって、
複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するステップと、
前記複数のカメラのうちの第１の固定カメラによって撮影された第１の映像の撮影方向と前記移動カメラによって撮影された第２の映像の撮影方向とを近づける第１の変換処理を行い、前記第１の変換処理の後に、前記第１の映像に含まれる複数枚の第１の画像と前記第２の映像に含まれる複数枚の第２の画像とのうちの互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像及び第２の画像を検出する第１の検出処理を行うステップと、
前記第１の固定カメラと前記第１の対応画像部分を含む前記第２の画像を撮影したときの前記移動カメラとの間の第１の相対位置を算出するステップと、
前記移動カメラの位置を算出するステップと、
を有し、
前記第１の検出処理を行う前記ステップでは、
前記複数のカメラのうちの第２の固定カメラによって撮影された第３の映像の撮影方向と前記移動カメラによって撮影された第４の映像の撮影方向とを近づける第２の変換処理を行い、
前記第２の変換処理の後に、前記第３の映像に含まれる複数枚の第３の画像と前記第４の映像に含まれる複数枚の第４の画像とのうちの互いの類似度が予め決められた閾値以上である第２の対応画像部分を含む第３の画像及び第４の画像を検出する第２の検出処理を行い、
前記第１の相対位置を算出する前記ステップでは、前記第２の固定カメラと前記第２の対応画像部分を含む前記第４の画像を撮影したときの前記移動カメラとの間の第２の相対位置を算出し、
前記第１の相対位置と、前記第２の相対位置と、前記移動カメラの位置とに基づいて、前記第１の固定カメラと前記第２の固定カメラとの間の相対位置である第３の相対位置が算出される
ことを特徴とする相対位置検出方法。 A relative position detection method performed by a relative position detection device.
A step of determining whether each of the plurality of images captured by the plurality of cameras is an image captured by a fixed camera or an image captured by a moving camera.
The first conversion process is performed to bring the shooting direction of the first image shot by the first fixed camera of the plurality of cameras closer to the shooting direction of the second image shot by the moving camera. After the first conversion process, the degree of similarity between the plurality of first images included in the first video and the plurality of second images included in the second video is predetermined. A step of performing a first detection process for detecting a first image and a second image including a first corresponding image portion that is equal to or greater than a determined threshold, and a step of performing the first detection process.
A step of calculating a first relative position between the first fixed camera and the moving camera when the second image including the first corresponding image portion is taken.
The step of calculating the position of the moving camera and
Have,
In the step of performing the first detection process,
A second conversion process is performed to bring the shooting direction of the third image shot by the second fixed camera of the plurality of cameras closer to the shooting direction of the fourth image shot by the moving camera.
After the second conversion process, the degree of similarity between the plurality of third images included in the third video and the plurality of fourth images included in the fourth video is determined in advance. A second detection process for detecting the third image and the fourth image including the second corresponding image portion that is equal to or higher than the determined threshold value is performed.
In the step of calculating the first relative position, the second relative between the second fixed camera and the moving camera when the fourth image including the second corresponding image portion is taken. Calculate the position,
A third, which is a relative position between the first fixed camera and the second fixed camera, based on the first relative position, the second relative position, and the position of the moving camera. Relative position is calculated
A relative position detection method characterized by this. 複数のカメラによって撮影された複数の映像の各々が、固定カメラによって撮影された映像であるか移動カメラによって撮影された映像であるかを判定するステップと、
前記複数のカメラのうちの第１の固定カメラによって撮影された第１の映像の撮影方向と前記移動カメラによって撮影された第２の映像の撮影方向とを近づける第１の変換処理を行い、前記第１の変換処理の後に、前記第１の映像に含まれる複数枚の第１の画像と前記第２の映像に含まれる複数枚の第２の画像とのうちの互いの類似度が予め決められた閾値以上である第１の対応画像部分を含む第１の画像及び第２の画像を検出する第１の検出処理を行うステップと、
前記第１の固定カメラと前記第１の対応画像部分を含む前記第２の画像を撮影したときの前記移動カメラとの間の第１の相対位置を算出するステップと、
前記移動カメラの位置を算出するステップと、
をコンピュータに実行させる相対位置検出プログラムであって、
前記第１の検出処理を行う前記ステップでは、
前記複数のカメラのうちの第２の固定カメラによって撮影された第３の映像の撮影方向と前記移動カメラによって撮影された第４の映像の撮影方向とを近づける第２の変換処理を行い、
前記第２の変換処理の後に、前記第３の映像に含まれる複数枚の第３の画像と前記第４の映像に含まれる複数枚の第４の画像とのうちの互いの類似度が予め決められた閾値以上である第２の対応画像部分を含む第３の画像及び第４の画像を検出する第２の検出処理を行い、
前記第１の相対位置を算出する前記ステップでは、前記第２の固定カメラと前記第２の対応画像部分を含む前記第４の画像を撮影したときの前記移動カメラとの間の第２の相対位置を算出し、
前記第１の相対位置と、前記第２の相対位置と、前記移動カメラの位置とに基づいて、前記第１の固定カメラと前記第２の固定カメラとの間の相対位置である第３の相対位置が算出される
ことを特徴とする相対位置検出プログラム。 A step of determining whether each of the plurality of images captured by the plurality of cameras is an image captured by a fixed camera or an image captured by a moving camera.
The first conversion process is performed to bring the shooting direction of the first image shot by the first fixed camera of the plurality of cameras closer to the shooting direction of the second image shot by the moving camera. After the first conversion process, the degree of similarity between the plurality of first images included in the first video and the plurality of second images included in the second video is predetermined. A step of performing a first detection process for detecting a first image and a second image including a first corresponding image portion that is equal to or greater than a determined threshold, and a step of performing the first detection process.
A step of calculating a first relative position between the first fixed camera and the moving camera when the second image including the first corresponding image portion is taken.
The step of calculating the position of the moving camera and
Is a relative position detection program that causes a computer to execute
In the step of performing the first detection process,
A second conversion process is performed to bring the shooting direction of the third image shot by the second fixed camera of the plurality of cameras closer to the shooting direction of the fourth image shot by the moving camera.
After the second conversion process, the degree of similarity between the plurality of third images included in the third video and the plurality of fourth images included in the fourth video is determined in advance. A second detection process for detecting the third image and the fourth image including the second corresponding image portion that is equal to or higher than the determined threshold value is performed.
In the step of calculating the first relative position, the second relative between the second fixed camera and the moving camera when the fourth image including the second corresponding image portion is taken. Calculate the position,
A third, which is a relative position between the first fixed camera and the second fixed camera, based on the first relative position, the second relative position, and the position of the moving camera. Relative position is calculated
A relative position detection program characterized by this .
JP2021561598A 2019-12-25 2019-12-25 Relative position detector, relative position detection method, and relative position detection program Active JP7019113B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/050877 WO2021130913A1 (en) 2019-12-25 2019-12-25 Relative position detection device, relative position detection method, and relative position detection program

Publications (2)

Publication Number Publication Date
JPWO2021130913A1 JPWO2021130913A1 (en) 2021-07-01
JP7019113B2 true JP7019113B2 (en) 2022-02-14

Family

ID=76573776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021561598A Active JP7019113B2 (en) 2019-12-25 2019-12-25 Relative position detector, relative position detection method, and relative position detection program

Country Status (2)

Country Link
JP (1) JP7019113B2 (en)
WO (1) WO2021130913A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014138420A (en) 2013-01-16 2014-07-28 Honda Research Institute Europe Gmbh Depth sensing method and system for autonomous vehicle
JP2017116339A (en) 2015-12-22 2017-06-29 株式会社リコー Detection device, detection method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3153718B2 (en) * 1994-11-07 2001-04-09 ニッタン株式会社 Intruder detection device and intruder detection method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014138420A (en) 2013-01-16 2014-07-28 Honda Research Institute Europe Gmbh Depth sensing method and system for autonomous vehicle
JP2017116339A (en) 2015-12-22 2017-06-29 株式会社リコー Detection device, detection method, and program

Also Published As

Publication number Publication date
JPWO2021130913A1 (en) 2021-07-01
WO2021130913A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US9330471B2 (en) Camera aided motion direction and speed estimation
KR100941418B1 (en) A localization method of moving robot
JP5001260B2 (en) Object tracking method and object tracking apparatus
US20170248971A1 (en) Method for detecting target object, detection apparatus and robot
CN104103030B (en) Image analysis method, camera apparatus, control apparatus and control method
CN110782483B (en) Multi-view multi-target tracking method and system based on distributed camera network
JP4002919B2 (en) Moving body height discrimination device
Klippenstein et al. Quantitative evaluation of feature extractors for visual slam
WO2012086821A1 (en) Positioning apparatus and positioning method
US9928426B1 (en) Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
KR101348680B1 (en) Target acquisition method for video tracker, and target acquisition apparatus using the same
JP5262705B2 (en) Motion estimation apparatus and program
JP7354767B2 (en) Object tracking device and object tracking method
El Bouazzaoui et al. Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization
JP6116765B1 (en) Object detection apparatus and object detection method
JP4935769B2 (en) Plane region estimation apparatus and program
JPH11250252A (en) Three-dimensional object recognizing device and method therefor
CN110706257B (en) Identification method of effective characteristic point pair, and camera state determination method and device
Shimizu et al. LIDAR-based body orientation estimation by integrating shape and motion information
JP7019113B2 (en) Relative position detector, relative position detection method, and relative position detection program
KR100631082B1 (en) Method for acquiring three-dimensional image information using single camera and video traffic monitoring method using the same
JP5032415B2 (en) Motion estimation apparatus and program
Makhmalbaf et al. 2D vision tracking methods' performance comparison for 3D tracking of construction resources
JP7208051B2 (en) State recognition device
KR20070082078A (en) Vehicle tracking system using compare background vector weight

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211014

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220201

R150 Certificate of patent or registration of utility model

Ref document number: 7019113

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150