JP6540330B2 - Tracking system, tracking method and tracking program - Google Patents
Tracking system, tracking method and tracking program Download PDFInfo
- Publication number
- JP6540330B2 JP6540330B2 JP2015148610A JP2015148610A JP6540330B2 JP 6540330 B2 JP6540330 B2 JP 6540330B2 JP 2015148610 A JP2015148610 A JP 2015148610A JP 2015148610 A JP2015148610 A JP 2015148610A JP 6540330 B2 JP6540330 B2 JP 6540330B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- reliability
- camera
- image
- tracking process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
本発明は、同一の対象物を複数のカメラで追跡する追跡システム、追跡方法および追跡プログラムに関する。 The present invention relates to a tracking system, a tracking method and a tracking program for tracking the same object with a plurality of cameras.
入力された画像列または映像において、その画像中の任意の物体をユーザが指定したときに、その物体を追跡する方法が各種提案されている。 Various methods have been proposed for tracking an object in an input image sequence or video when the user specifies an arbitrary object in the image.
特許文献１には動画像から運動物体を検出する運動物体検出装置が記載されている。特許文献１に記載された装置は、現時刻および過去の画像フレーム中の運動物体のオプティカルフローを用いて偽のオプティカルフローを除去する。 Patent Document 1 describes a moving object detection device that detects a moving object from a moving image. The apparatus described in Patent Document 1 uses the optical flow of moving objects in current and past image frames to remove false optical flow.
また、複数のカメラを用いて対象物を追跡する方法も知られている。特許文献２には、複数のカメラを連携させて、移動体を追跡監視する監視システムが記載されている。特許文献２に記載された監視システムは、複数の監視カメラが相互間で追跡対象の特徴情報を受け渡し、その特徴情報を用いて各監視カメラが追跡対象を追跡する。 Also known is a method of tracking an object using a plurality of cameras. Patent Document 2 describes a monitoring system for tracking and monitoring a moving object by linking a plurality of cameras. In the surveillance system described in Patent Document 2, a plurality of surveillance cameras mutually pass tracking feature information, and each surveillance camera tracks the tracking object using the feature information.
特許文献３には、可視光画像を処理して対象エリアに進入したオブジェクトの検出や追跡等を行う画像処理装置が記載されている。特許文献３に記載された画像処理装置には、可視光カメラおよび遠赤外線カメラが接続され、両カメラは、略同じアングルで、且つ略同じ撮像倍率でオブジェクトの検出を行う対象エリアを撮像する。また、特許文献３に記載された画像処理装置は、オブジェクトの検出に適さない可視光画像の画像領域があった場合、遠赤外線背景画像を用いて、遠赤外線背景差分画像を生成し、撮像されているオブジェクトを検出する。 Patent Document 3 describes an image processing apparatus that processes a visible light image to detect, track, etc. an object that has entered a target area. A visible light camera and a far-infrared camera are connected to the image processing apparatus described in Patent Document 3, and both cameras capture an area to be detected in an object at a substantially the same angle and at substantially the same imaging magnification. Further, when there is an image area of a visible light image that is not suitable for detecting an object, the image processing device described in Patent Document 3 generates a far infrared background difference image using a far infrared background image and captures the image. Find out which objects are
なお、特許文献４には、目標物を高速で検出する目標検出装置が記載されている。特許文献４に記載された目標検出装置は、レンズを介して入力される遠赤外線像と近赤外線像とをそれぞれ検出する検知器を備えている。 Patent Document 4 describes a target detection device that detects a target at high speed. The target detection device described in Patent Document 4 includes a detector that detects a far infrared image and a near infrared image input through a lens.
特許文献１に記載された装置のように単カメラを用いて対象物を追跡する場合、カメラの特性によっては、適切に追跡できない環境も存在する。例えば、可視単カメラを用いて追跡する場合、対象物の色が追跡に有効な特徴と言える。しかし、追跡する環境が、暗闇など、色の差異が見つけにくい環境の場合、可視単カメラを用いて対象物を追跡することは困難である。また、例えば、遠赤外線単カメラを用いて追跡する場合、昼夜を問わず温度によって特徴が得られる一方、他の同温物体が存在していた場合、対象物の追跡は困難である。 When tracking an object using a single camera as in the device described in Patent Document 1, depending on the characteristics of the camera, there is also an environment that can not be properly tracked. For example, in the case of tracking using a visible single camera, the color of the object can be said to be an effective feature for tracking. However, if the environment to be tracked is an environment where color differences are difficult to detect, such as darkness, it is difficult to track objects using a visible single camera. Also, for example, when tracking using a far-infrared single camera, while characteristics are obtained by temperature regardless of day or night, tracking of an object is difficult when another same temperature object is present.
また、特許文献２に記載された監視システムは、ある監視カメラ装置が追跡目標を見失うと、抽出された特徴情報を他の監視カメラ装置に伝送し、他の監視カメラ装置が、伝送された特徴情報に一致した場合に映像の伝送を開始する。しかし、各監視カメラ装置が撮影する位置や画角は通常異なるため、他の監視カメラ装置から受信した特徴情報をその後の追跡に精度よく利用できるとは言い難い。 Further, the monitoring system described in Patent Document 2 transmits the extracted feature information to another monitoring camera device when one monitoring camera device loses the tracking target, and the other monitoring camera device transmits the feature. When the information matches, the video transmission is started. However, it is difficult to say that feature information received from other surveillance camera devices can be used accurately for subsequent tracking because the position and angle of view taken by each surveillance camera device are usually different.
一方、特許文献３に記載された画像処理装置のように、複数のカメラを用いて対象物を追跡することにより、追跡の信頼性を向上させることは可能である。しかし、複数カメラをステレオ視のように同時に用いて追跡する際には、画角の違いや、視差による見えのズレの問題が存在する。理想的には、画角が同じであれば、カメラ間で対象物の位置が変わらないため、非常に簡単に処理が可能である。しかし、カメラセンサの大きさや焦点距離、レンズ歪み等の微妙な差異によって画角は異なってしまうため、複数のカメラを用いることによる画角の違いをなくすことは困難である。 On the other hand, as in the image processing apparatus described in Patent Document 3, it is possible to improve the reliability of tracking by tracking an object using a plurality of cameras. However, when tracking using a plurality of cameras simultaneously as in stereo vision, there are problems of difference in angle of view and disparity in the appearance due to parallax. Ideally, if the angle of view is the same, processing is very easy because the position of the object does not change between the cameras. However, since the angle of view differs due to subtle differences such as the size of the camera sensor, focal length, lens distortion, etc., it is difficult to eliminate the difference in angle of view caused by using a plurality of cameras.
また、同じ品番のカメラを利用するなどして、画角を略同じに合わせたとしても、複数のカメラを用いる以上、視差は原理的になくすことができない。視差による見えのズレを考慮せず、かつ画角は略同じと仮定して画像処理を行うと、仮定に無理があるため、追跡対象を正確にとらえることができず、追跡精度の低下を招いてしまうという問題がある。 Further, even if the angle of view is substantially the same by using cameras of the same part number, parallax can not be eliminated in principle as long as a plurality of cameras are used. If image processing is performed on the assumption that the angle of view is almost the same without considering the disparity in the appearance due to parallax, the assumption can not be made because the assumption is impossible, so the tracking target can not be accurately captured, causing a decrease in tracking accuracy. There is a problem that you
そこで、本発明は、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる追跡システム、追跡方法および追跡プログラムを提供することを目的とする。 Therefore, the present invention aims to provide a tracking system, a tracking method, and a tracking program that can improve tracking accuracy when tracking the same object with a plurality of cameras.
本発明による追跡システムは、同一の対象物を複数のカメラで追跡する追跡システムであって、第１の映像を撮像する第１のカメラと、第１のカメラと略同一の画角で撮影される第２の映像を撮像する第２のカメラと、処理部とを備え、処理部が、第１の映像上で対象物を追跡する第１の追跡処理と、第２の映像上で対象物を追跡する第２の追跡処理と、第１の追跡処理で得られた対象物の信頼度である第１の信頼度と、第２の追跡処理で得られた対象物の信頼度である第２の信頼度とを算出する信頼度算出処理と、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御処理とを実行することを特徴とする。 A tracking system according to the present invention is a tracking system that tracks the same object with a plurality of cameras, and is captured at substantially the same angle of view as the first camera that captures a first image and the first camera. A second camera for capturing a second video, and a processing unit, the first tracking processing for tracking the target on the first video, and the second processing on the second video A second tracking process of tracking the first object, which is the reliability of the object obtained in the first tracking process, and a second object, which is the reliability of the object obtained in the second tracking process The tracking process with higher reliability is identified by comparing the reliability calculating process for calculating the second reliability with the first reliability and the second reliability, and the result of one tracking process identified And a control process for controlling the other tracking process.
本発明による他の追跡システムは、同一の対象物を複数のカメラで追跡する追跡システムであって、第１の映像を撮像する第１のカメラと、第１のカメラと略同一の画角で撮影される第２の映像を撮像する第２のカメラと、第１の映像上で対象物を追跡する第１の追跡部と、第２の映像上で対象物を追跡する第２の追跡部と、第１の追跡部により得られた対象物の信頼度である第１の信頼度を算出する第１の信頼度算出部と、第２の追跡部により得られた対象物の信頼度である第２の信頼度を算出する第２の信頼度算出部と、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御部とを備えたことを特徴とする。 Another tracking system according to the present invention is a tracking system for tracking the same object with a plurality of cameras, wherein a first camera for capturing a first image and an angle of view substantially the same as the first camera A second camera for capturing a second video to be captured, a first tracking unit for tracking an object on the first video, and a second tracking unit for tracking an object on the second video A first reliability calculation unit that calculates a first reliability that is the reliability of the object obtained by the first tracking unit, and the reliability of the object obtained by the second tracking unit While a tracking process having a higher reliability is identified and identified by comparing a second reliability calculation unit that calculates a certain second reliability with the first reliability and the second reliability, And a control unit that controls the other tracking process based on the tracking process result of the above.
本発明による追跡方法は、同一の対象物を複数のカメラで追跡する追跡方法であって、第１のカメラが、第１の映像を撮像し、第２のカメラが、第１のカメラと略同一の画角で撮影される第２の映像を撮像し、処理部が、第１の映像上で対象物を追跡する第１の追跡処理と、第２の映像上で対象物を追跡する第２の追跡処理とを行い、処理部が、第１の追跡処理で得られた対象物の信頼度である第１の信頼度と、第２の追跡処理で得られた対象物の信頼度である第２の信頼度とを算出する信頼度算出処理を行い、処理部が、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御処理を行うことを特徴とする。 The tracking method according to the present invention is a tracking method in which the same object is tracked by a plurality of cameras, wherein the first camera captures a first image, and the second camera is substantially the same as the first camera. A second image captured at the same angle of view, the processing unit performing a first tracking process for tracking an object on the first image, and a second for tracking the object on the second image (2) tracking processing, and the processing unit determines the reliability of the object obtained in the first tracking processing by the first reliability and the reliability of the object obtained by the second tracking processing. A reliability calculation process for calculating a certain second reliability level is performed, and the processing unit compares the first reliability level with the second reliability level to identify and specify a tracking process with higher reliability. A control process for controlling the other tracking process is performed based on the one tracking process result.
本発明による追跡プログラムは、同一の対象物を複数のカメラで追跡するコンピュータに適用される追跡プログラムであって、コンピュータに、第１のカメラで撮像された第１の映像上で対象物を追跡する第１の追跡処理、第１のカメラと略同一の画角で撮影する第２のカメラで撮像された第２の映像上で対象物を追跡する第２の追跡処理、第１の追跡処理で得られた対象物の信頼度である第１の信頼度と、第２の追跡処理で得られた対象物の信頼度である第２の信頼度とを算出する信頼度算出処理、および、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御処理を実行させることを特徴とする。 A tracking program according to the present invention is a tracking program applied to a computer that tracks the same object with a plurality of cameras, and the computer tracks an object on a first image captured by a first camera. First tracking process, second tracking process for tracking an object on a second image captured by a second camera shooting at substantially the same angle of view as the first camera, first tracking process Reliability calculation processing for calculating a first reliability, which is the reliability of the object obtained in step (d), and a second reliability, which is the reliability of the object obtained in the second tracking process, and A control process for identifying a tracking process with a higher degree of reliability by comparing the first reliability and the second reliability, and controlling the other tracking process based on the identified one tracking process result It is characterized by having it run.
本発明によれば、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる。 According to the present invention, it is possible to improve the tracking accuracy when tracking the same object with a plurality of cameras.
以下、本発明の実施形態を図面を参照して説明する。なお、本発明において対象物とは、追跡対象である任意の人物または物体を意味する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present invention, an object means any person or object to be tracked.
図１は、本発明による追跡システムの一実施形態を示すブロック図である。本実施形態の追跡システムは、同一の対象物を複数のカメラで追跡するものであり、第１のカメラ１０と、第２のカメラ２０と、処理部３０と、出力部４０と、記憶部５０とを備えている。
FIG. 1 is a block diagram illustrating one embodiment of a tracking system according to the present invention. The tracking system according to the present embodiment tracks the same object with a plurality of cameras, and the
以下の説明では、追跡システムが２台のカメラ（第１のカメラ１０および第２のカメラ２０）を備えている場合を例示するが、追跡システムが備えるカメラの数は２台に限定されず、３台以上であってもよい。
Although the following description exemplifies the case where the tracking system includes two cameras (the
本実施形態では、第１のカメラ１０と第２のカメラ２０とは、同一の対象物を追跡するために用いられる。具体的には、一方のカメラが他方のカメラと略同一の画角を範囲とする映像を撮像する。以下の説明では、第１のカメラが撮像する映像を第１の映像と記し、第２のカメラが撮像する映像を第２の映像と記す。また、第２の映像は、第１の映像と略同一の画角で撮影される。
In the present embodiment, the
第１のカメラ１０と第２のカメラ２０の位置関係は、例えば、ステレオ視によって対象物体を追跡できるように設定されてもよい。ここで、位置関係とは、上述するように略同一の画角で２つの映像が撮影されるように設定されたカメラの位置や向き、倍率のことを意味する。
The positional relationship between the
なお、複数のカメラを用いて同一の対象物を追跡するという特性上、原理的に視差をなくすることはできない。そのため、一方のカメラの画角を基準として、他方の各カメラの画角（画像範囲や、ある距離での大きさなど）が、ほぼ同じになるように調節される。この設定は、カメラが３台以上になった場合でも同様である。 It should be noted that the parallax can not be eliminated in principle because of the characteristic that the same object is tracked using a plurality of cameras. Therefore, the angle of view (image range, size at a certain distance, etc.) of each other camera is adjusted to be substantially the same with reference to the angle of view of one camera. This setting is the same even when there are three or more cameras.
各カメラは、相互の位置関係を固定する装置を用いて設定されてもよい。また、相互の位置関係が変化しなければ、第１のカメラ１０と第２のカメラ２０とは、設置場所が固定されていなくてもよい。例えば、これらのカメラが同一の移動体に取り付けられて移動し、初期の状態からの画角が変化してもよい。
Each camera may be set using a device that fixes the positional relationship with each other. In addition, the installation location of the
また、各カメラは、追跡開始時に画角内に対象物が存在するように設定される。ただし、追跡開始時以外、対象物が画角内に存在している必要はない。第１のカメラ１０および第２のカメラ２０は、撮影した映像を処理部３０に入力する。
In addition, each camera is set such that an object is present within the angle of view at the start of tracking. However, it is not necessary for the object to be present within the angle of view except at the start of tracking. The
本実施形態で用いられるカメラは、対象物を撮影可能なカメラであれば、その内容は任意である。具体的には、第１のカメラ１０と、第２のカメラ２０とは、同種のセンサを備えたカメラで実現されていてもよく、異種のセンサを備えたカメラで実現されていてもよい。例えば、第１のカメラが可視光カメラで、第２のカメラが遠赤外線カメラであってもよい。なお、第１のカメラ１０および第２のカメラ２０の態様は、可視光カメラや遠赤外線カメラに限られず、例えば、近赤外線カメラなどであってもよい。
The content of the camera used in the present embodiment is arbitrary as long as the camera can capture an object. Specifically, the
また、第１のカメラ１０と、第２のカメラ２０のフレームレートは、同一であってもよく、異なっていてもよい。例えば、第１のカメラ１０が、第２のカメラ２０に比べて低フレームレートで高解像度の画像を撮影してもよいし、第２のカメラ２０が、第１のカメラ１０に比べて高フレームレートで低解像度の画像を撮影してもよい。
Also, the frame rates of the
記憶部５０は、後述する処理部３０が、各種処理に用いる情報を記憶する。記憶部５０は、例えば、磁気ディスク装置などにより実現される。
The
出力部４０は、処理部３０に入力された映像を表示する。出力部４０は、例えば、同じ時刻に撮影された２つの映像を比較できるように並べて表示してもよい。出力部４０は、例えば、ディスプレイ装置やタッチパネル装置により実現される。図２は、２つの映像を並べて表示した例を示す説明図である。図２に示す例では、可視光カメラで撮影された映像が左側に表示され、遠赤外線カメラで撮影された映像が右側に表示されていることを示す。
The
処理部３０は、第１のカメラ１０で撮影された映像（すなわち、第１の映像）と、第２のカメラ２０で撮影された映像（すなわち、第２の映像）を入力する。処理部３０は、入力された映像のうち、一方の映像上の対象物の指定をユーザより受け付ける。本実施形態では、処理部３０は、第１の映像上の対象物の指定を受け付けるものとする。
The
対象物の指定は、第１の映像上の対象物を含む範囲選択により行われる。対象物の指定方法は任意である。例えば、出力部４０がディスプレイ装置により実現されている場合、出力部４０に表示された第１の映像に対するポインティングデバイスを用いた範囲選択操作により対象物が指定されてもよい。また、例えば、出力部４０がタッチパネルにより実現されている場合、出力部４０に表示された第１の映像に対するユーザの範囲選択操作により対象物が指定されてもよい。
The designation of the object is performed by range selection including the object on the first video. The designation method of the object is arbitrary. For example, when the
処理部３０は、第１の映像上の対象物が指定されると、その対象物を含む指定範囲を探索範囲として特定する。以下、この探索範囲を第一の探索範囲と記すこともある。併せて、処理部３０は、第２の映像上で同一の対象物が存在する範囲を探索範囲として特定する。以下、この探索範囲を第二の探索範囲と記すこともある。
When an object on the first image is designated, the
ここで、探索範囲とは、対象物の検出処理が行われる領域である。検出処理は、学習された追跡対象と見えが同じものを探索して検出する処理であるため、探索範囲は、その探索が行われる画像上の範囲と言うこともできる。なお、探索とは、画像を所定の大きさ（例えば、５ピクセル×５ピクセルずつ、１０ピクセル×１０ピクセルずつ、など）に区切った全格子を候補とし、学習された追跡対象と見えが同じものをその候補の中から探して検出結果とする処理である。 Here, the search range is an area in which a detection process of an object is performed. Since the detection process is a process of searching for and detecting a subject having the same appearance as the learned tracking target, the search range can also be said to be a range on the image in which the search is performed. In the search, an entire grid in which the image is divided into predetermined sizes (for example, 5 pixels × 5 pixels each, 10 pixels × 10 pixels each, etc.) is regarded as a candidate, and the appearance is the same as the learning target Is a process for finding out from among the candidates and setting it as a detection result.
上述するように、第１の映像と第２の映像との間には視差が存在する。そこで、処理部３０は、視差（ズレ）を考慮して第二の探索範囲を特定する。処理部３０は、例えば、第１の画像で指定された矩形の範囲を対象に、指定された時刻の１フレーム前と指定された時刻のフレームとを比較し、対象物の動きの大きさ及び向きを推定する。処理部３０は、動きの大きさ及び向きを、例えば、オプティカルフローを用いて推定してもよい。次に、処理部３０は、第１の画像で指定された矩形と同じ位置の矩形を第２の映像上で特定する。処理部３０は、特定した第２の映像上の矩形について、第１の画像と同様、指定時の１フレーム前と指定時のフレームとを比較し、対象物の動きの大きさ及び向きを推定する。そして、処理部３０は、推定した対象物の大きさ及び向きが類似する箇所を、第２の映像上で指定された対象物が存在する箇所と推定して、第二の探索範囲を特定する。
As described above, there is parallax between the first video and the second video. Thus, the
このように、一方の映像上の対象物の動きの大きさ及び向きに基づいて他の映像上の探索範囲を特定するため、両映像間に存在するズレを考慮して対象物を特定できる。また、対象物を指定していない他方の映像上の対象物を自動的に特定することで、対象物を指定する手間を軽減できる。すなわち、本実施形態では、ユーザが対象物の指定を１つの映像上でのみ行えばよく、他の映像上の対象物は自動推定されるため、複数異種カメラを用いた追跡技術にもかかわらず、入力にかかる手間が単一カメラの場合と比べて増加しないと言える。以降、処理部３０は、各カメラで撮影された映像から対象物の探索範囲を並行して決定し、追跡処理を行う。
As described above, since the search range on the other video is specified based on the magnitude and the direction of the movement of the target on one image, the target can be specified in consideration of the displacement existing between the two videos. In addition, by automatically specifying the target on the other video in which the target is not specified, it is possible to reduce the trouble of specifying the target. That is, in the present embodiment, the user only needs to designate an object on one image, and objects on other images are automatically estimated. It can be said that the time required for input does not increase compared to the case of a single camera. Thereafter, the
処理部３０は、各探索範囲を特定すると、それぞれの映像ごとに、一定のフレーム間隔で対象物の信頼度を算出する。この信頼度は、対象物らしさを示す類似度であり、映像ごとに追跡開始からの追跡情報を基に算出される。ここで、追跡開始からの追跡情報は、追跡の際に取得された対象物を示す各画像や、その対象物の各位置を示す情報（以下、テンプレートと記す。）を含む。テンプレートは、映像ごと（撮影するカメラごと）に作成される。
After specifying each search range, the
処理部３０は、テンプレートと比較したときの見た目の類似度や、移動に応じて推定される対象物の位置の近さや尤もらしさの度合いに基づいて、対象物の信頼度を算出する。このとき、処理部３０は、対象物のテンプレートを随時更新しながら、各フレームにおける対象物の信頼度を算出してもよい。また、処理部３０は、探索時に随時取得される画像や対象物の移動を示す情報に基づいて、対象物のモデル（見えモデル、移動モデル）を学習し、学習したモデルを用いて対象物の信頼度を算出してもよい。
The
なお、処理部３０は、映像ごとに算出される信頼度に基づいて対象物のテンプレートを更新してもよく、各映像で算出される信頼度を比較した時の相対的な信頼度合い（相対的信頼度）に基づいて、対象物のテンプレートを更新してもよい。処理部３０は、例えば、算出した信頼度が他の映像で算出された信頼度よりも低い場合、その画像で特定された対象物の更新重みを低く（または、０に）してもよい。また、例えば、いずれの信頼度も高く、相対的信頼度が高くない場合、処理部３０は、この場合も、対象物の更新重みを低く（または、０に）してもよい。
Note that the
なお、各映像上の対象物の追跡処理で取得される情報（具体的には、追跡開始からの追跡情報）に基づいて対象物の信頼度が算出できる方法であれば、その方法は任意である。すなわち、信頼度は、追跡対象らしさを示す度合いであって、値が高いほど類似度が高いと判断可能な式によって算出されればよい。 Note that the method is arbitrary as long as the reliability of the object can be calculated based on the information (specifically, the tracking information from the start of tracking) acquired in the tracking process of the object on each video. is there. That is, the degree of reliability may be a degree that indicates the likelihood of being tracked, and may be calculated using an expression that can be determined that the degree of similarity is higher as the value is higher.
次に、処理部３０は、信頼度が高いと判定された一方の追跡処理における対象物の位置及び大きさを、他方の追跡処理における対象物の探索範囲の設定に反映する。具体的には、処理部３０は、各映像から算出される信頼度を比較し、同時刻において最も高い信頼度が算出された映像および対象物を特定する。そして、処理部３０は、最も高い信頼度が算出された映像以外の他の映像の探索範囲を、特定した対象物の範囲（位置および大きさ）を示す情報を用いて決定する。すなわち、処理部３０は、最も高い信頼度が算出された対象物の情報を、他の全ての映像に共有させているとも言える。以後、映像ごとに決定された探索範囲で追跡処理が引き続き行われる。
Next, the
処理部３０は、算出された信頼度や前フレームの追跡結果に応じて、探索範囲の決定方法を変化させてもよい。具体的には、処理部３０は、前フレームの追跡結果が存在するか否か、また、信頼度が高いか低いかによって、探索範囲の決定方法を変更してもよい。例えば、前フレームの追跡結果が存在しない場合、または、信頼度が低い場合、処理部３０は、画像全体を探索範囲として追跡対象を探索する。このとき、処理部３０は、各画像全体の中から、過去の最新の追跡結果で特定された対象物の大きさに近いテンプレートのみを用いて対象物を特定してもよい。
The
このように、各カメラ映像の探索範囲を絞り、その範囲内で一定以上の信頼度かつ一番信頼度が高い候補を探索し採用することで、探索時間を短縮しつつ、追跡結果を調整できる。なお、処理部３０は、被共有側のカメラ映像において、一定以上の信頼度がない場合、またはマッチするテンプレートがない場合、共有された追跡情報をそのまま採用してもよい。
As described above, the search result can be adjusted while shortening the search time by narrowing down the search range of each camera image and searching for and adopting a candidate with a certain degree of reliability and the highest degree of reliability within that range. . The
また、本実施形態では、複数のカメラで相補的に対象物を追跡するため、各カメラで視差が生じる。この視差を生かし、処理部３０は、カメラから対象物までの深度を用いて探索範囲を決定してもよい。
Further, in the present embodiment, in order to track the object complementarily by a plurality of cameras, parallax occurs in each camera. Using this parallax, the
深度を用いて探索範囲を決定する場合、まず初めに、ユーザは、対象物までの距離について、ある深度範囲ならば、この程度のずれが発生するという知識を、実際にキャリブレーションして事前に算出し、算出結果を記憶部５０に記憶しておく。すなわち、記憶部５０は、キャリブレーションにより算出された対象までの距離および深度範囲に応じたズレ（差異）を記憶する。処理部３０は、実際の追跡時に観測したズレに基づいて対象物までの深度を算出し、前フレームの画像で算出した深度から、現フレームの画像上の対象物の移動範囲を推定して探索範囲を特定する。このように探索範囲を狭めることで、画像上の一部の範囲のみにテンプレートを適用することが可能になるため、追跡処理の速度を向上できる。
When determining the search range using depth, first, the user actually calibrates in advance the knowledge that this degree of deviation will occur in a certain depth range with respect to the distance to the object. The calculation is performed, and the calculation result is stored in the
他にも、記憶部５０は、深度範囲と探索範囲を対応付けて記憶していてもよい。この場合、処理部３０は、実際の追跡時に観測したズレに基づいて対象物の深度範囲を算出し、記憶部５０に記憶された対応関係に基づいて、算出した深度範囲から他の追跡処理に設定する探索範囲を決定してもよい。
In addition, the
処理部３０は、探索範囲を決定した後、再度追跡処理（対象物の検出処理）を行うとともに、出力部４０に表示された映像上に、例えば、対象物を矩形で囲むなどして、追跡結果を随時表示してもよい。このような追跡結果を表示することにより、対象物を視覚的に追跡することが可能になる。
After determining the search range, the
このとき、処理部３０は、より信頼度の高い映像上の追跡結果を特定の態様で表示してもよい。処理部３０は、例えば、信頼度の高い映像上の対象物を濃い色の太枠の矩形で囲むように表示し、信頼度の低い映像上の対象物を薄い色の細枠の矩形で囲む（または囲まず）表示してもよい。
At this time, the
図３は、追跡結果を表示した例を示す説明図である。図３に示す例では、図２に例示する映像に対して追跡処理を行った結果、第１のカメラで撮影された映像よりも第２のカメラで撮影された映像による追跡結果の信頼度が連続して高かったことを示す。このようにすることで、どの映像の対象物の追跡結果を利用して追跡処理が行われているかを視覚的に把握することが可能になる。 FIG. 3 is an explanatory view showing an example in which the tracking result is displayed. In the example shown in FIG. 3, as a result of performing tracking processing on the video illustrated in FIG. 2, the reliability of the tracking result by the video taken by the second camera is higher than the video taken by the first camera. It shows that it was high continuously. In this way, it is possible to visually grasp which tracking process is being performed using the tracking result of which object of the video.
なお、処理部３０は、プログラム（追跡プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、記憶部５０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、処理部３０として動作してもよい。また、処理部３０は、専用のハードウェアで実現されていてもよい。
The
次に、本実施形態の追跡システムの動作を説明する。図４は、本実施形態の追跡システムの動作例を示す説明図である。まず、予め、第１のカメラ１０で撮影された映像（すなわち、第１の映像）と、第２のカメラ２０で撮影された映像（すなわち、第２の映像）との間で映像調整が行われる（ステップＳ１１）。具体的には、第１のカメラ１０と第２のカメラ２０とが略同一の画角を範囲とする映像を撮影できるように、両カメラの調整が行われる。
Next, the operation of the tracking system of this embodiment will be described. FIG. 4 is an explanatory view showing an operation example of the tracking system of the present embodiment. First, video adjustment is performed between the video (that is, the first video) captured by the
調整後、処理部３０は、ユーザによる第１の映像上の対象物に対する指定を受け付ける（ステップＳ１２）。処理部３０は、第１の映像上の対象物が指定されると、第１の映像上の探索範囲（第一の探索範囲）を特定するとともに、第２の映像上の探索範囲（第二の探索範囲）を特定する（ステップＳ１３）。
After the adjustment, the
各映像上の探索範囲が特定されると、処理部３０は、それぞれの映像上で対象物を追跡し（ステップＳ１４，Ｓ１５）、追跡した対象物の信頼度を一定のフレーム間隔で算出する（ステップＳ１６，Ｓ１７）。処理部３０は、映像ごとに算出した信頼度を比較し、最も高い信頼度が算出された映像および対象物を特定する（ステップＳ１８）。
When the search range on each video is specified, the
処理部３０は、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する（ステップＳ１９，Ｓ２０）。具体的には、処理部３０は、追跡結果を調整することにより探索範囲を決定し、次フレームの画像に対してステップＳ１４およびステップＳ１５以降の処理を繰り返す。
The
以上のように、本実施形態では、第１のカメラ１０が第１の映像を撮像し、第２のカメラ２０が第１のカメラと略同一の画角で撮影される第２の映像を撮像する。そして、追跡システムに備えられた処理部３０が、第１の映像上で対象物を追跡する第１の追跡処理と、第２の映像上で対象物を追跡する第２の追跡処理を実行する。また、処理部３０は、第１の追跡処理で得られた対象物の信頼度（第１の信頼度）と、第２の追跡処理で得られた対象物の信頼度（第２の信頼度）とを算出する信頼度算出処理を実行する。そして、処理部３０は、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御処理を実行する。よって、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる。
As described above, in the present embodiment, the
また、本実施形態では、ステレオ視に代表される複数カメラを用いた場合の見えのズレ（視差）を考慮し、追跡結果を共有することにより探索範囲を微調整（補正）しているため、より頑健に対象物を追跡できる。 Further, in the present embodiment, the search range is finely adjusted (corrected) by sharing the tracking result in consideration of disparity (disparity) of the appearance when using a plurality of cameras represented by stereo vision. You can track objects more robustly.
また、本実施形態では、映像ごとに独立して対象物の信頼度を算出し、信頼度の高い映像から特定される対象物の追跡情報を他の映像に反映させるため、追跡に用いるカメラのセンサやフレームレートの異同を問わない。そのため、異種のカメラで相補的に対象を追跡できるため、追跡精度を向上させることが可能になる。言い換えると、本発明では、複数のカメラの中で一番信頼度の高い追跡情報を基に追跡するため、各カメラの特性的に優位な場面を自動的に選択して追跡しているといえる。 Further, in the present embodiment, the reliability of the object is calculated independently for each image, and the tracking information of the object specified from the image with high reliability is reflected in another image, so There is no difference between sensors and frame rates. Therefore, it is possible to improve tracking accuracy because different types of cameras can track the object complementarily. In other words, according to the present invention, in order to perform tracking based on the most reliable tracking information among a plurality of cameras, it can be said that the characteristicly superior scenes of each camera are automatically selected and tracked. .
具体的には、本実施形態では、画角を略同じにした複数の異種または同種のカメラ（例えば、遠赤外線カメラと可視光カメラ）の映像を用いて、同時並行的に対象物を追跡しつつ、高信頼度側の追跡情報を低信頼度側に共有して、追跡情報を補正する。例えば、異種センサを含むカメラを組み合わせた場合、一の種類のカメラの苦手な場面を、他の種類のカメラによって補完しながら追跡することが可能になる。 Specifically, in the present embodiment, images of a plurality of different or similar cameras (for example, a far-infrared camera and a visible light camera) with substantially the same angle of view are used to simultaneously track the object in parallel. Meanwhile, the tracking information on the high reliability side is shared with the low reliability side to correct the tracking information. For example, in the case of combining cameras including different types of sensors, it becomes possible to track while being poor at one type of camera while complementing the other types of cameras.
また、本実施形態では、既成の単カメラを組み合わせて各カメラの画角を略同一に合わせればよいため、特許文献４に記載されているような、特殊なレンズ機構を必要としない。また、カメラ間の位置関係（カメラの位置・向き・倍率などの関係）を変化させなければ、追跡途中にカメラを動かしたとしても対象物を追跡できる。そのため、本実施形態の追跡システムを移動カメラシステムに適用することも可能である。 Further, in the present embodiment, since it is sufficient to combine existing single cameras and match the angle of view of each camera substantially the same, a special lens mechanism as described in Patent Document 4 is not necessary. Also, if the positional relationship between the cameras (the relationship between the position, orientation, magnification, etc. of the cameras) is not changed, the object can be tracked even if the cameras are moved during tracking. Therefore, it is also possible to apply the tracking system of the present embodiment to a mobile camera system.
次に、本実施形態の変形例を説明する。図１に示す例では、追跡システムが処理部３０を備え、処理部３０が第１のカメラ１０から入力される映像（第１の映像）と第２のカメラから入力される映像（第２の映像）の両方に対して追跡処理および信頼度算出処理を行っていた。
Next, a modification of this embodiment will be described. In the example shown in FIG. 1, the tracking system includes the
本変形例では、各カメラで撮影した映像に対する処理が別々の手段で実現される場合の構成を説明する。図５は、本発明による追跡システムの変形例を示すブロック図である。図５に例示する追跡システムは、第１のカメラ１０と、第２のカメラ２０と、追跡部３１と、追跡部３２と、信頼度算出部３３と、信頼度算出部３４と、制御部３５と、出力部４０と、記憶部５０とを備えている。
In this modification, a configuration in the case where processing on an image captured by each camera is realized by different means will be described. FIG. 5 is a block diagram showing a variant of the tracking system according to the invention. The tracking system illustrated in FIG. 5 includes a
第１のカメラ１０、第２のカメラ２０、出力部４０および記憶部５０の内容は、上記実施形態と同様であるため、詳細な説明は省略する。また、追跡部３１、追跡部３２、信頼度算出部３３、信頼度算出部３４および制御部３５で行われる内容は、上記実施形態の処理部３０で行われる内容と同様である。
The contents of the
具体的には、追跡部３１および信頼度算出部３３は、第１のカメラ１０で撮影された映像（第１の映像）に対する処理を行う。また、追跡部３２および信頼度算出部３４は、第２のカメラ２０で撮影された映像（第２の映像）に対する処理を行う。なお、追跡部３１が行う処理と追跡部３２とが行う処理、および、信頼度算出部３３が行う処理と信頼度算出部３４とが行う処理は、対象とする映像または画像が異なる以外は、それぞれ同一である。
Specifically, the
追跡部３１は、第１の映像上で対象物を追跡する（第１の追跡処理）。また、追跡部３２は、第２の映像上で対象物を追跡する（第２の追跡処理）。なお、対象物の追跡方法は、上述する処理部３０が行う方法と同様である。
The
信頼度算出部３３は、第１の追跡処理で得られた対象物の信頼度（第１の信頼度）を算出する。また、信頼度算出部３４は、第２の追跡処理で得られた対象物の信頼度（第２の信頼度）を算出する。なお、信頼度の算出方法は、上述する処理部３０が行う方法と同様である。
The
制御部３５は、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する。具体的には、制御部３５は、信頼度が高いと判定された一方の追跡処理における対象物の位置及び大きさを、他方の追跡処理における対象物の探索範囲の設定に反映する。なお、探索範囲の設定の反映方法は、上述する処理部３０が行う方法と同様である。
The
追跡部３１と、追跡部３２と、信頼度算出部３３と、信頼度算出部３４と、制御部３５とは、プログラム（通信情報参照プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、また、追跡部３１と、追跡部３２と、信頼度算出部３３と、信頼度算出部３４と、制御部３５とは、それぞれが専用のハードウェアで実現されていてもよい。
The
また、例えば、第１のカメラ１０と、追跡部３１と、信頼度算出部３３とが一体の追跡装置として構成され、第２のカメラ２０と、追跡部３２と、信頼度算出部３４とが一体の追跡装置として構成されていてもよい。そして、各追跡装置は、制御部３５からの指示に応じて、各処理を実施してもよい。
Further, for example, the
このような構成によっても、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる。 Such configuration also makes it possible to improve the tracking accuracy when tracking the same object with a plurality of cameras.
次に、本発明の概要を説明する。図６は、本発明による追跡システムの概要を示すブロック図である。本発明による追跡システムは、同一の対象物（例えば、追跡対象）を複数のカメラで追跡する追跡システムであって、第１の映像を撮像する第１のカメラ１００（例えば、第１のカメラ１０）と、第１のカメラ１００と略同一の画角で撮影される第２の映像を撮像する第２のカメラ２００（例えば、第２のカメラ２０）と、処理部８０（例えば、処理部３０）とを備えている。
Next, an outline of the present invention will be described. FIG. 6 is a block diagram showing an overview of a tracking system according to the present invention. A tracking system according to the present invention is a tracking system for tracking the same object (for example, a tracking target) with a plurality of cameras, and a first camera 100 (for example, the first camera 10) for capturing a first image. And a second camera 200 (for example, the second camera 20) for capturing a second image captured at substantially the same angle of view as the
処理部８０は、第１の映像上で対象物を追跡する第１の追跡処理と、第２の映像上で対象物を追跡する第２の追跡処理と、第１の追跡処理で得られた対象物の信頼度である第１の信頼度と、第２の追跡処理で得られた対象物の信頼度である第２の信頼度とを算出する信頼度算出処理と、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御処理とを実行する。
The
そのような構成により、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる。 Such a configuration can improve tracking accuracy when tracking the same object with a plurality of cameras.
ここで、第１のカメラ１００と第２のカメラ２００とは、異種のセンサを備えたカメラで実現されてもよい。各カメラが異種のセンサを備えたカメラで実現された場合、各カメラで撮影される映像の内容は大きく異なる。しかし、本発明では、撮影された各映像の信頼度を算出し、より高い信頼度が算出された映像の追跡処理結果（例えば、探索範囲）に基づいて、他の映像の追跡処理を制御する。そのため、一の種類のカメラの苦手な場面を、他の種類のカメラによって補完しながら追跡することが可能になる。
Here, the
具体的には、第１のカメラ１００は可視光カメラであってもよく、第２のカメラ２００は遠赤外線カメラであってもよい。この場合、特に相補的に対象を追跡が可能であり、各カメラの特性をより生かした追跡が可能になる。
Specifically, the
また、第１のカメラ１００は、第２のカメラ２００よりも低フレームレートで高解像の映像を撮像し、第２のカメラ２００は、第１のカメラ１００よりも高フレームレートで低解像の映像を撮像してもよい。
Also, the
また、処理部８０は、信頼度が高いと判定された一方の追跡処理における対象物の位置及び大きさを、他方の追跡処理における対象物の探索範囲の設定に反映してもよい。すなわち、高信頼度の対象物の追跡結果から他の追跡処理の探索範囲が決定されるため、画角が完全に一致しない複数のカメラを用いた場合でも、探索範囲を補正しながら追跡できる。そのため、同一の対象物を精度よく追跡することが可能になる。すなわち、本発明では、複数のカメラを利用した際に生ずる画像上の見えのずれに対し、一方の追跡処理結果を反映することにより、他の画像の探索範囲を吸収可能に設定していると言える。
In addition, the
また、追跡システムは、深度範囲と探索範囲を対応付けて記憶する記憶部（例えば、記憶部５０）を備えていてもよい。そして、処理部８０は、記憶部を参照し、追跡時に観測された差異に基づいて算出される対象物の深度範囲から探索範囲を特定してもよい。
The tracking system may also include a storage unit (for example, the storage unit 50) that stores the depth range and the search range in association with each other. Then, the
さらに、第１のカメラ１００と第２のカメラ２００とは、同一の移動体に取り付けられて同一の対象物を追跡してもよい。本発明では、両カメラが略同一の画角で撮影可能に設置されていれば、厳密な画角の一致は必要ないため、両カメラが同一の移動体に取り付けて行われる追跡処理の精度も向上できる。
Furthermore, the
また、処理部８０は、信頼度の算出に用いられる対象物のテンプレート情報を一定のフレーム間隔で更新し、更新したテンプレート情報を用いて各フレームの信頼度を算出してもよい。
In addition, the
図７は、本発明による追跡システムの他の概要を示すブロック図である。図７に例示する追跡システムは、同一の対象物を複数のカメラで追跡する追跡システムであって、第１の映像を撮像する第１のカメラ１００と、第１のカメラ１００と略同一の画角で撮影される第２の映像を撮像する第２のカメラ２００と、第１の映像上で対象物を追跡する第１の追跡部８１（例えば、追跡部３１、処理部３０）と、第２の映像上で対象物を追跡する第２の追跡部８２（例えば、追跡部３２、処理部３０）と、第１の追跡部８１により得られた対象物の信頼度である第１の信頼度を算出する第１の信頼度算出部８３（例えば、信頼度算出部３３、処理部３０）と、第２の追跡部８２により得られた対象物の信頼度である第２の信頼度を算出する第２の信頼度算出部８４（例えば、信頼度算出部３４、処理部３０）と、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御部８５（例えば、制御部３５、処理部３０）とを備えている。 FIG. 7 is a block diagram showing another overview of the tracking system according to the present invention. The tracking system illustrated in FIG. 7 is a tracking system that tracks the same object with a plurality of cameras, and a first camera 100 that captures a first image and an image that is substantially the same as the first camera 100 A second camera 200 for capturing a second video shot at a corner, a first tracking unit 81 (for example, a tracking unit 31 and a processing unit 30) for tracking an object on the first video, A second tracking unit 82 (for example, a tracking unit 32 and a processing unit 30) for tracking an object on the second image, and a first reliability that is the reliability of the object obtained by the first tracking unit 81 The second reliability, which is the reliability of the object obtained by the first reliability calculation unit 83 (for example, the reliability calculation unit 33 and the processing unit 30) that calculates the degree, and the second tracking unit 82 A second reliability calculation unit 84 (for example, the reliability calculation unit 34, the processing unit 30) to be calculated; The control unit 85 that compares the reliability and the second reliability to identify a tracking process having a higher reliability, and controls the other tracking process based on the identified one tracking process result (for example, The control unit 35 and the processing unit 30) are provided.
そのような構成によっても、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる。 Such a configuration can also improve the tracking accuracy when tracking the same object with multiple cameras.
１０ 第１のカメラ
２０ 第２のカメラ
３０ 処理部
３１，３２ 追跡部
３３，３４ 信頼度算出部
３５ 制御部
４０ 出力部
５０ 記憶部
10
Claims (13)
第１の映像を撮像する第１のカメラと、
前記第１のカメラと略同一の画角で撮影される第２の映像を撮像する第２のカメラと、
処理部とを備え、
前記処理部は、
前記第１の映像上で前記対象物を追跡する第１の追跡処理と、
前記第２の映像上で前記対象物を追跡する第２の追跡処理と、
前記第１の追跡処理で得られた前記対象物の信頼度である第１の信頼度と、前記第２の追跡処理で得られた前記対象物の信頼度である第２の信頼度とを算出する信頼度算出処理と、
前記第１の信頼度と前記第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御処理とを実行する
ことを特徴とする追跡システム。 A tracking system for tracking the same object with a plurality of cameras, comprising:
A first camera for capturing a first image;
A second camera that captures a second image captured at substantially the same angle of view as the first camera;
And a processing unit,
The processing unit is
A first tracking process for tracking the object on the first image;
A second tracking process for tracking the object on the second image;
A first reliability, which is the reliability of the object obtained in the first tracking process, and a second reliability, which is the reliability of the object obtained in the second tracking process Reliability calculation processing to be calculated;
Control that compares the first reliability level with the second reliability level to identify a tracking process with a higher degree of reliability, and controls the other tracking process based on the identified one tracking process result A tracking system characterized by processing and performing.
請求項１記載の追跡システム。 The tracking system according to claim 1, wherein the first camera and the second camera are realized by cameras having different types of sensors.
請求項１または請求項２記載の追跡システム。 The tracking system according to claim 1 or 2, wherein the first camera is a visible light camera and the second camera is a far infrared camera.
第２のカメラは、第１のカメラよりも高フレームレートで低解像の映像を撮像する
請求項１から請求項３のうちのいずれか１項に記載の追跡システム。 The first camera captures a high resolution image at a lower frame rate than the second camera,
The tracking system according to any one of claims 1 to 3, wherein the second camera captures a low resolution image at a higher frame rate than the first camera.
請求項１から請求項４のうちのいずれか１項に記載の追跡システム。 The processing unit reflects the position and size of an object in one tracking process determined to have a high degree of reliability in setting of a search range of the object in the other tracking process. Tracking system according to any one of the above.
処理部は、前記記憶部を参照し、追跡時に観測された差異に基づいて算出される対象物の深度範囲から探索範囲を特定する
請求項１から請求項５のうちのいずれか１項に記載の追跡システム。 A storage unit that stores the depth range and the search range in association with each other;
The processing unit specifies the search range from the depth range of the object calculated based on the difference observed at the time of tracking, with reference to the storage unit according to any one of claims 1 to 5. Tracking system.
請求項１から請求項６のうちのいずれか１項に記載の追跡システム。 The tracking system according to any one of claims 1 to 6, wherein the first camera and the second camera are attached to the same moving body and track the same object.
請求項１から請求項７のうちのいずれか１項に記載の追跡システム。 The processing unit updates the template information of the object used for calculating the reliability at a constant frame interval, and calculates the reliability of each frame using the updated template information. Tracking system according to any one of the preceding claims.
第１の映像を撮像する第１のカメラと、
前記第１のカメラと略同一の画角で撮影される第２の映像を撮像する第２のカメラと、
前記第１の映像上で前記対象物を追跡する第１の追跡部と、
前記第２の映像上で前記対象物を追跡する第２の追跡部と、
前記第１の追跡部により得られた前記対象物の信頼度である第１の信頼度を算出する第１の信頼度算出部と、
前記第２の追跡部により得られた前記対象物の信頼度である第２の信頼度を算出する第２の信頼度算出部と、
前記第１の信頼度と前記第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御部とを備えた
ことを特徴とする追跡システム。 A tracking system for tracking the same object with a plurality of cameras, comprising:
A first camera for capturing a first image;
A second camera that captures a second image captured at substantially the same angle of view as the first camera;
A first tracking unit for tracking the object on the first image;
A second tracking unit that tracks the object on the second image;
A first reliability calculation unit that calculates a first reliability that is the reliability of the object obtained by the first tracking unit;
A second reliability calculation unit that calculates a second reliability that is the reliability of the object obtained by the second tracking unit;
Control that compares the first reliability level with the second reliability level to identify a tracking process with a higher degree of reliability, and controls the other tracking process based on the identified one tracking process result A tracking system characterized by comprising:
第１のカメラが、第１の映像を撮像し、
第２のカメラが、前記第１のカメラと略同一の画角で撮影される第２の映像を撮像し、
処理部が、前記第１の映像上で前記対象物を追跡する第１の追跡処理と、前記第２の映像上で前記対象物を追跡する第２の追跡処理とを行い、
前記処理部が、前記第１の追跡処理で得られた前記対象物の信頼度である第１の信頼度と、前記第２の追跡処理で得られた前記対象物の信頼度である第２の信頼度とを算出する信頼度算出処理を行い、
前記処理部が、前記第１の信頼度と前記第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御処理を行う
ことを特徴とする追跡方法。 A tracking method for tracking the same object with a plurality of cameras, comprising:
The first camera captures a first video,
The second camera captures a second image captured at substantially the same angle of view as the first camera,
The processing unit performs a first tracking process of tracking the object on the first image and a second tracking process of tracking the object on the second image,
The processing unit is configured to generate a first reliability, which is the reliability of the object obtained by the first tracking process, and a second reliability, which is the reliability of the object obtained by the second tracking process. Perform reliability calculation processing to calculate the reliability of the
The processing unit compares the first reliability with the second reliability to identify a tracking process having a higher reliability, and the other tracking based on the identified one tracking process result. A control method for controlling a process is performed.
請求項１０記載の追跡方法。 The tracking method according to claim 10, wherein a second camera having a sensor different from a sensor used by the first camera to capture an image captures a second image.
前記コンピュータに、
第１のカメラで撮像された第１の映像上で前記対象物を追跡する第１の追跡処理、
前記第１のカメラと略同一の画角で撮影する第２のカメラで撮像された第２の映像上で前記対象物を追跡する第２の追跡処理、
前記第１の追跡処理で得られた前記対象物の信頼度である第１の信頼度と、前記第２の追跡処理で得られた前記対象物の信頼度である第２の信頼度とを算出する信頼度算出処理、および、
前記第１の信頼度と前記第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御処理
を実行させるための追跡プログラム。 A tracking program applied to a computer for tracking the same object with a plurality of cameras, comprising:
On the computer
A first tracking process for tracking the object on a first image captured by a first camera;
A second tracking process of tracking the object on a second image captured by a second camera that captures an image with substantially the same angle of view as the first camera;
A first reliability, which is the reliability of the object obtained in the first tracking process, and a second reliability, which is the reliability of the object obtained in the second tracking process Reliability calculation processing to be calculated, and
Control that compares the first reliability level with the second reliability level to identify a tracking process with a higher degree of reliability, and controls the other tracking process based on the identified one tracking process result Tracking program to execute processing.
請求項１２記載の追跡プログラム。 The tracking program according to claim 12, wherein the first image and the second image have different camera sensors used for imaging.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015148610A JP6540330B2 (en) | 2015-07-28 | 2015-07-28 | Tracking system, tracking method and tracking program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015148610A JP6540330B2 (en) | 2015-07-28 | 2015-07-28 | Tracking system, tracking method and tracking program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019105526A Division JP6725041B2 (en) | 2019-06-05 | 2019-06-05 | Tracking system, tracking method and tracking program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017028655A JP2017028655A (en) | 2017-02-02 |
| JP6540330B2 true JP6540330B2 (en) | 2019-07-10 |
Family
ID=57946211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015148610A Active JP6540330B2 (en) | 2015-07-28 | 2015-07-28 | Tracking system, tracking method and tracking program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6540330B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7175595B2 (en) * | 2017-09-25 | 2022-11-21 | キヤノン株式会社 | Imaging device, control device, imaging system, and imaging system control method |
| WO2019065757A1 (en) * | 2017-09-26 | 2019-04-04 | ソニーセミコンダクタソリューションズ株式会社 | Information processing system |
| KR102495359B1 (en) * | 2017-10-27 | 2023-02-02 | 삼성전자주식회사 | Method and apparatus for tracking object |
| JP6996353B2 (en) * | 2018-03-06 | 2022-01-17 | トヨタ自動車株式会社 | Object recognition device and vehicle travel control system |
| JP7085646B2 (en) * | 2018-12-28 | 2022-06-16 | 株式会社Ｎｔｔドコモ | Position estimation system |
| TWI776191B (en) * | 2020-07-22 | 2022-09-01 | 黃仲賢 | Scriptable automatic video recording system |
| CN113487647B (en) * | 2020-11-20 | 2024-06-25 | 海信集团控股股份有限公司 | Target tracking method, display device, electronic device and medium |
| WO2023223704A1 (en) * | 2022-05-20 | 2023-11-23 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08329110A (en) * | 1995-06-05 | 1996-12-13 | Matsushita Electric Ind Co Ltd | Method for processing picture |
| JP3644668B2 (en) * | 1999-09-03 | 2005-05-11 | 三菱電機株式会社 | Image monitoring device |
| CN101485192B (en) * | 2006-10-30 | 2011-05-18 | 松下电器产业株式会社 | Image generating device and image generating method |
| JP5459674B2 (en) * | 2010-09-13 | 2014-04-02 | 株式会社東芝 | Moving object tracking system and moving object tracking method |
| WO2013005477A1 (en) * | 2011-07-05 | 2013-01-10 | 富士フイルム株式会社 | Imaging device, three-dimensional image capturing method and program |
| JP5480925B2 (en) * | 2012-03-05 | 2014-04-23 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| JP5991224B2 (en) * | 2013-02-15 | 2016-09-14 | オムロン株式会社 | Image processing apparatus, image processing method, and image processing program |
| US9298974B1 (en) * | 2014-06-18 | 2016-03-29 | Amazon Technologies, Inc. | Object identification through stereo association |
-
2015
- 2015-07-28 JP JP2015148610A patent/JP6540330B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017028655A (en) | 2017-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6540330B2 (en) | Tracking system, tracking method and tracking program | |
| US20200159256A1 (en) | Method for detecting target object, detection apparatus and robot | |
| JP4699040B2 (en) | Automatic tracking control device, automatic tracking control method, program, and automatic tracking system | |
| US9396551B2 (en) | Camera apparatus and method for tracking object in the camera apparatus | |
| US10191561B2 (en) | Tracking controllers of a virtual reality system | |
| US7636105B2 (en) | Method and apparatus for providing motion control signals between a fixed camera and a PTZ camera | |
| KR101533686B1 (en) | Apparatus and method for tracking gaze, recording medium for performing the method | |
| US8284257B2 (en) | Image pick-up apparatus and tracking method therefor | |
| US10659676B2 (en) | Method and apparatus for tracking a moving subject image based on reliability of the tracking state | |
| KR101627185B1 (en) | Control method of image photographing apparatus | |
| JP6036824B2 (en) | Angle of view variation detection device, angle of view variation detection method, and field angle variation detection program | |
| KR101486308B1 (en) | Tracking moving objects for mobile robots control devices, methods, and its robot | |
| KR20170033126A (en) | Method and apparatus of estimating a motion of an image, method and apparatus of image stabilization and computer-readable recording medium for executing the method | |
| WO2015004739A1 (en) | Monitor system, automated patrol robot, and monitor method | |
| JP5001930B2 (en) | Motion recognition apparatus and method | |
| JP6688975B2 (en) | Monitoring device and monitoring system | |
| CN110751685B (en) | Depth information determination method, determination device, electronic device and vehicle | |
| JP4578864B2 (en) | Automatic tracking device and automatic tracking method | |
| JP2017090711A5 (en) | ||
| JP6725041B2 (en) | Tracking system, tracking method and tracking program | |
| JP6833483B2 (en) | Subject tracking device, its control method, control program, and imaging device | |
| JP7001125B2 (en) | Tracking system, tracking method and tracking program | |
| JP6734994B2 (en) | Stereo measuring device and system | |
| JP2024091808A (en) | Tracking system, tracking method and tracking program | |
| JP2006173872A (en) | Camera controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180604 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190527 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6540330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |