JP2016111649A - Monitoring system, video analysis device, video analysis method, and program - Google Patents
Monitoring system, video analysis device, video analysis method, and program Download PDFInfo
- Publication number
- JP2016111649A JP2016111649A JP2014249941A JP2014249941A JP2016111649A JP 2016111649 A JP2016111649 A JP 2016111649A JP 2014249941 A JP2014249941 A JP 2014249941A JP 2014249941 A JP2014249941 A JP 2014249941A JP 2016111649 A JP2016111649 A JP 2016111649A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- wide
- moving object
- area
- tracking target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、監視システム、映像解析装置、映像解析方法およびプログラムに関するものである。 The present invention relates to a monitoring system, a video analysis device, a video analysis method, and a program.
従来、移動物体（以下、単に「動体」とも言う。）を追尾する技術として様々な技術が開示されている。例えば、過去に動体を追尾した結果に基づいて動体の移動方向を予測し、予測した動体の移動方向に応じた撮像範囲が撮像されるようにＰＴＺ（パン・チルト・ズーム）カメラ（以下、「可動カメラ」とも言う。）を制御する技術が開示されている（例えば、特許文献１参照）。かかる技術によれば、動体追尾の遅延を低減することが可能となる。 Conventionally, various techniques have been disclosed as techniques for tracking a moving object (hereinafter also simply referred to as “moving object”). For example, the moving direction of the moving object is predicted based on the result of tracking the moving object in the past, and a PTZ (pan / tilt / zoom) camera (hereinafter, “ A technique for controlling a movable camera is also disclosed (for example, see Patent Document 1). According to such a technique, it is possible to reduce the delay in tracking moving objects.
しかしながら、１台のＰＴＺカメラだけを利用する技術は、動体の移動範囲が広域になるほど、動体を追尾するのに適さなくなる可能性が高まる。なぜなら、動体の移動範囲が広域になるほど、広い画角のレンズを用いて動体を追尾する必要性が高まるが、レンズの画角が広くなってしまうと、ＰＴＺカメラの映像サイズに対する動体サイズが小さくなりやすくなってしまうからである。 However, the technology that uses only one PTZ camera increases the possibility that it becomes less suitable for tracking a moving object as the moving range of the moving object becomes wider. This is because, as the moving range of the moving object becomes wider, the need to track the moving object using a lens with a wide angle of view increases. However, if the angle of view of the lens increases, the moving object size with respect to the image size of the PTZ camera decreases. Because it becomes easy to become.
そこで、固定カメラ等によって撮像された広域の映像（以下、「広域カメラ映像」とも言う。）を表示させ、表示された広域カメラ映像から動体が存在する領域を選択領域として選択し、選択領域から検出された動体をＰＴＺカメラで追尾する技術が存在する。かかる技術によれば、ＰＴＺカメラのレンズ画角を抑えることができるため、ＰＴＺカメラの映像サイズに対する動体サイズが小さくなることを抑えることができる。 Therefore, a wide-area image captured by a fixed camera or the like (hereinafter also referred to as “wide-area camera image”) is displayed, and an area where a moving object exists is selected as a selection area from the displayed wide-area camera image. There is a technique for tracking a detected moving object with a PTZ camera. According to this technique, since the lens angle of view of the PTZ camera can be suppressed, it is possible to suppress a reduction in the moving object size with respect to the video size of the PTZ camera.
しかしながら、かかる技術においては、広域カメラ映像が固定カメラ等によって送信されてから表示制御装置に到達するまでの時間、広域カメラ映像が表示制御装置に到達してから広域カメラ映像が表示されるまでの時間、広域カメラ映像における選択領域の通知が表示制御装置によってなされてからＰＴＺカメラを制御するカメラ制御装置によって受け取られるまでの時間、選択領域に応じた撮像方向を撮像するようにＰＴＺカメラを制御するために要する時間など（以下、これらの時間を「タイムラグ」とも言う。）が生じ得る。 However, in such a technique, the time from when the wide-area camera image is transmitted by the fixed camera or the like until it reaches the display control device, from when the wide-area camera image reaches the display control device until the wide-area camera image is displayed. Controls the PTZ camera to capture the imaging direction corresponding to the selected area, the time from when the notification of the selected area in the wide-area camera image is made by the display control apparatus until it is received by the camera control apparatus that controls the PTZ camera Time (for example, these times are also referred to as “time lag”).
そのため、固定カメラ等とＰＴＺカメラとの組み合わせを用いる技術においては、ＰＴＺカメラが選択領域に応じた撮像方向を撮像したとき、選択領域に動体が存在しない可能性が高まるため、動体追尾の精度が低下する可能性がある。そこで、本発明は、上記問題に鑑みてなされたものであり、広域カメラ映像に基づいて動体をＰＴＺカメラでより高精度に追尾することが可能な技術を提供する。 For this reason, in the technology using a combination of a fixed camera or the like and a PTZ camera, when the PTZ camera captures an imaging direction corresponding to the selected area, there is a high possibility that there is no moving object in the selected area. May be reduced. Therefore, the present invention has been made in view of the above problems, and provides a technique capable of tracking a moving object with a PTZ camera with higher accuracy based on a wide-area camera image.
上記問題を解決するために、本発明のある観点によれば、映像解析装置と表示制御装置とカメラ制御装置とを有する、監視システムにおいて、前記映像解析装置は、広域カメラ映像を記憶している記憶部を備え、前記表示制御装置は、ネットワークを介して前記広域カメラ映像を取得する映像取得部と、前記広域カメラ映像を表示部に表示させる表示制御部と、前記広域カメラ映像における操作体軌跡を検出する操作体軌跡検出部と、前記操作体軌跡を前記映像解析装置に通知する通知部と、を備え、前記映像解析装置は、前記操作体軌跡が通知されると、前記記憶部によって記憶されている前記広域カメラ映像から動体軌跡を検出する動体軌跡検出部と、前記操作体軌跡と前記動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する追尾対象特定部と、前記追尾対象の最新位置を特定する位置特定部と、を備え、前記カメラ制御装置は、前記最新位置に応じた撮像方向を可動カメラに撮像させる、監視システムが提供される。 In order to solve the above problem, according to an aspect of the present invention, in a monitoring system having a video analysis device, a display control device, and a camera control device, the video analysis device stores a wide-area camera video. A storage unit, and the display control device includes a video acquisition unit that acquires the wide-area camera image via a network, a display control unit that displays the wide-area camera image on the display unit, and an operating object locus in the wide-area camera image And a notification unit that notifies the video analysis device of the operation tool trajectory. When the control tool trajectory is notified, the video analysis device stores the operation tool trajectory in the storage unit. A moving object trajectory detecting unit that detects a moving object trajectory from the wide-area camera image, and when the operating object trajectory and the moving object trajectory match or are similar to each other, A monitoring target specifying unit for specifying the tracking target and a position specifying unit for specifying the latest position of the tracking target, wherein the camera control device causes the movable camera to capture an imaging direction corresponding to the latest position. Provided.
前記映像取得部は、前記可動カメラによって撮像された可動カメラ映像を取得し、前記表示制御部は、前記可動カメラ映像を表示させてよい。 The image acquisition unit may acquire a movable camera image captured by the movable camera, and the display control unit may display the movable camera image.
前記操作体軌跡検出部は、前記表示部に重畳されたタッチパネルに対して操作体が接触しながら移動した軌跡を前記操作体軌跡として検出してよい。 The operation object locus detection unit may detect, as the operation object locus, a locus moved while the operation object is in contact with the touch panel superimposed on the display unit.
前記表示制御装置は、前記広域カメラ映像からフレームを選択フレームとして選択するとともに前記選択フレームにおける領域を選択領域として選択する選択部を備え、前記映像解析装置は、前記ネットワークを介して前記選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、を備え、前記追尾対象特定部は、前記操作体軌跡と前記動体軌跡とが一致または類似する場合、かつ、前記動体軌跡の前記選択フレームにおける位置と前記選択フレームにおける前記選択領域から検出された動体の位置とが一致する場合、当該動体を追尾対象として特定してよい。 The display control apparatus includes a selection unit that selects a frame from the wide-area camera image as a selection frame and selects an area in the selection frame as a selection area, and the video analysis apparatus includes the selection area via the network. A frame identification unit that identifies the selected frame from the accumulated past wide-area camera video, and a moving object detection unit that detects a moving object from the selection area in the selected frame when notified, the tracking target identification And when the operating object locus and the moving object locus match or are similar, and the position of the moving object locus in the selection frame matches the position of the moving object detected from the selection area in the selection frame. The moving object may be specified as a tracking target.
前記フレーム特定部は、前記選択フレームに付与されていたフレーム撮像時刻が通知されると、蓄積されている過去の広域カメラ映像から前記フレーム撮像時刻が付与されているフレームを前記選択フレームとして特定してよい。 The frame specifying unit, when notified of the frame imaging time given to the selected frame, specifies the frame to which the frame imaging time is given from the accumulated past wide-area camera video as the selected frame. It's okay.
前記フレーム特定部は、前記過去の広域カメラ映像から、前記選択領域が通知された時刻より所定時間前のフレーム撮像時刻が付与されているフレームを前記選択フレームとして特定してよい。 The frame specifying unit may specify, as the selected frame, a frame to which a frame imaging time that is a predetermined time before the time when the selected area is notified is given from the past wide-area camera video.
前記位置特定部は、前記過去の広域カメラ映像の複数フレームそれぞれに映る前記追尾対象の位置から推定した前記追尾対象の現在位置を前記追尾対象の最新位置として特定してよい。 The position specifying unit may specify the current position of the tracking target estimated from the position of the tracking target shown in each of a plurality of frames of the past wide-area camera video as the latest position of the tracking target.
前記位置特定部は、前記過去の広域カメラ映像の最新のフレームに映る前記追尾対象の位置を前記追尾対象の最新位置として特定してよい。 The position specifying unit may specify the position of the tracking target shown in the latest frame of the past wide-area camera video as the latest position of the tracking target.
また、本発明の他の観点によれば、映像解析装置と表示制御装置とカメラ制御装置とを有する、監視システムにおいて、前記映像解析装置は、広域カメラ映像から動体軌跡を検出する動体軌跡検出部を備え、前記表示制御装置は、ネットワークを介して前記広域カメラ映像を取得する映像取得部と、前記広域カメラ映像を表示部に表示させる表示制御部と、前記広域カメラ映像における操作体軌跡を検出する操作体軌跡検出部と、前記操作体軌跡を通知する通知部と、を備え、前記映像解析装置は、前記操作体軌跡と前記動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する追尾対象特定部と、前記追尾対象の最新位置を特定する位置特定部と、を備え、前記カメラ制御装置は、前記最新位置に応じた撮像方向を可動カメラに撮像させる、監視システムが提供される。 According to another aspect of the present invention, in the monitoring system having a video analysis device, a display control device, and a camera control device, the video analysis device detects a moving subject locus from a wide-area camera image. The display control device includes a video acquisition unit that acquires the wide-area camera video via a network, a display control unit that displays the wide-area camera video on a display unit, and an operation object locus in the wide-area camera video. An operating object locus detecting unit, and a notifying unit for notifying the operating object locus, and the video analysis apparatus sets the moving object as a tracking target when the operating object locus and the moving object locus match or are similar to each other. A tracking target specifying unit for specifying, and a position specifying unit for specifying the latest position of the tracking target, wherein the camera control device is configured to move the imaging direction according to the latest position. Is imaged in La, the monitoring system is provided.
また、本発明の他の観点によれば、映像解析装置と表示制御装置とカメラ制御装置とを有する、監視システムにおいて、前記映像解析装置は、広域カメラ映像から動体軌跡を検出する動体軌跡検出部と、当該動体の識別情報が付与された前記動体軌跡を記憶する記憶部と、を備え、前記表示制御装置は、ネットワークを介して前記広域カメラ映像を取得する映像取得部と、前記広域カメラ映像を表示部に表示させる表示制御部と、前記広域カメラ映像における操作体軌跡を検出する操作体軌跡検出部と、前記操作体軌跡と前記動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する追尾対象特定部と、前記追尾対象の識別情報を前記映像解析装置に通知する追尾対象通知部と、を備え、前記映像解析装置は、前記追尾対象の識別情報によって識別される前記追尾対象の最新位置を特定する位置特定部を備え、前記カメラ制御装置は、前記最新位置に応じた撮像方向を可動カメラに撮像させる、監視システムが提供される。 According to another aspect of the present invention, in the monitoring system having a video analysis device, a display control device, and a camera control device, the video analysis device detects a moving subject locus from a wide-area camera image. And a storage unit that stores the moving object trajectory to which the moving object identification information is assigned, wherein the display control device acquires the wide-area camera image via a network, and the wide-area camera image Is displayed on the display unit, the operating object locus detecting unit for detecting the operating object locus in the wide-area camera image, and the moving object locus is tracked when the operating object locus and the moving object locus match or are similar to each other. A tracking target specifying unit that specifies the tracking target identification information, and a tracking target notification unit that notifies the video analysis device of identification information of the tracking target, the video analysis device including the tracking target Comprising a position specifying unit for specifying the latest position of the tracking target to be identified by the identification information, the camera control unit, the to image the imaging direction in accordance with the latest position to the movable camera, surveillance system is provided.
また、本発明の他の観点によれば、ネットワークを介して送信された広域カメラ映像における操作体軌跡と前記広域カメラ映像から検出された動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する追尾対象特定部と、前記追尾対象の最新位置を特定する位置特定部と、を備え、前記最新位置に応じた撮像方向が可動カメラによって撮像される、映像解析装置が提供される。 According to another aspect of the present invention, when an operating object locus in a wide-area camera image transmitted via a network matches or is similar to a moving object locus detected from the wide-area camera image, the moving object is tracked There is provided a video analysis apparatus that includes a tracking target specifying unit that specifies a tracking target and a position specifying unit that specifies the latest position of the tracking target, and an imaging direction corresponding to the latest position is captured by a movable camera.
また、本発明の他の観点によれば、ネットワークを介して送信された広域カメラ映像における操作体軌跡と前記広域カメラ映像から検出された動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定することと、前記追尾対象の最新位置を特定することと、を含み、前記最新位置に応じた撮像方向が可動カメラによって撮像される、映像解析方法が提供される。 According to another aspect of the present invention, when an operating object locus in a wide-area camera image transmitted via a network matches or is similar to a moving object locus detected from the wide-area camera image, the moving object is tracked And specifying the latest position of the tracking target, and an image analysis method is provided in which an imaging direction corresponding to the latest position is imaged by a movable camera.
また、本発明の他の観点によれば、コンピュータを、ネットワークを介して送信された広域カメラ映像における操作体軌跡と前記広域カメラ映像から検出された動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する追尾対象特定部と、前記追尾対象の最新位置を特定する位置特定部と、を備え、前記最新位置に応じた撮像方向が可動カメラによって撮像される、映像解析装置として機能させるためのプログラムが提供される。 According to another aspect of the present invention, when the operating object locus in the wide-area camera image transmitted via the network matches or is similar to the moving object locus detected from the wide-area camera image, the computer A tracking target specifying unit that specifies a tracking target and a position specifying unit that specifies the latest position of the tracking target, and functions as a video analysis device in which an imaging direction corresponding to the latest position is captured by a movable camera A program is provided.
以上説明したように本発明によれば、広域カメラ映像に基づいて動体をＰＴＺカメラでより高精度に追尾することが可能となる。 As described above, according to the present invention, a moving object can be tracked with higher accuracy by a PTZ camera based on a wide-area camera image.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。 In the present specification and drawings, a plurality of constituent elements having substantially the same functional configuration are distinguished by attaching different numerals to the same reference numerals. Further, similar constituent elements of different embodiments are distinguished by attaching different alphabets after the same reference numerals. However, when there is no need to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration, only the same reference numerals are given.
（１．第１の実施形態）
まず、本発明の第１の実施形態について説明する。
(1. First embodiment)
First, a first embodiment of the present invention will be described.
（１−１．監視システムの構成）
図１を参照しながら、本発明の第１の実施形態に係る監視システム１の構成例について説明する。図１は、本発明の第１および第２の実施形態に係る監視システム１の構成例を示した説明図であり、符号の後にアルファベットＡを付した構成が第１の実施形態の監視システム１Ａに対応する。図１に示したように、監視システム１Ａは、表示制御装置１０Ａ、監視装置２０、可動カメラ３０およびカメラ制御装置４０を備える。
(1-1. Configuration of the monitoring system)
A configuration example of the
また、図１に示したように、監視装置２０、可動カメラ３０およびカメラ制御装置４０は、遠隔地に設置され、表示制御装置１０Ａは、監視者Ｋが存在する監視地に設置され、監視地と遠隔地とは、ネットワーク５０を介して接続されている。遠隔地は、典型的には飛行場であってよいが、遠隔地は飛行場に限定されず、監視され得る他の場所（例えば、船舶の通過する航路、電車の線路など）であってもよい。本明細書においては、遠隔地が飛行場である場合を想定しており、遠隔地には動体（航空機）Ｍ１が存在している。
In addition, as shown in FIG. 1, the
ここで、例えば、ネットワーク５０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク５０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
Here, for example, the
固定カメラ２１−１〜２１−４は、所定の監視対象領域を撮像することによって映像（以下、「広域カメラ映像」とも言う。）を撮像する。ここで、固定カメラ２１の数は特に限定されない。固定カメラ２１−１〜２１−４によって撮像された広域カメラ映像は、ネットワーク５０を介して表示制御装置１０Ａに提供される。映像解析装置２２は、広域カメラ映像から選択された領域（以下、「選択領域」とも言う。）を解析することによって動体を検出する。例えば、動体の位置およびサイズが検出されてよい。
The fixed cameras 21-1 to 21-4 capture an image (hereinafter also referred to as “wide area camera image”) by capturing an image of a predetermined monitoring target area. Here, the number of the fixed cameras 21 is not particularly limited. Wide-area camera images captured by the fixed cameras 21-1 to 21-4 are provided to the
カメラ制御装置４０は、可動カメラ３０の撮像範囲（撮像方向および撮像サイズ）を制御する機能を有する。可動カメラ３０の撮像方向は、パン・チルト機能により調整され得る。また、可動カメラ３０の撮像サイズは、ズーム機能により調整され得る。より具体的には、カメラ制御装置４０は、監視者Ｋによって広域カメラ映像における選択領域に応じた撮像範囲を撮像するように、可動カメラ３０を制御する。
The
可動カメラ３０は、カメラ制御装置４０による制御に従って撮像範囲を撮像する機能を有する。(なお、本実施形態では、可動カメラ３０の画角は、固定カメラ２１−１〜２１−４それぞれの画角よりも狭い。)そのため、可動カメラ３０によって撮像された撮像結果（以下、「可動カメラ映像」とも言う。）は、広域カメラ映像よりも、監視者Ｋによる詳細監視に向いている。可動カメラ映像は、ネットワーク５０を介して表示制御装置１０Ａに提供される。
The
表示制御装置１０Ａは、第１の表示領域に広域カメラ映像を表示させ、第１の領域とは異なる第２の表示領域に可動カメラ映像を表示させる。第１の表示領域および第２の表示領域は、表示制御装置１０Ａの内部に存在してもよいし、表示制御装置１０Ａの外部に存在してもよい。第１の表示領域および第２の表示領域については、後に詳細に説明する。監視者Ｋは、このようにして表示された広域カメラ映像および可動カメラ映像の双方を監視することができる。
The
以上、本発明の第１の実施形態に係る監視システム１Ａの構成例について説明した。
The configuration example of the
（１−２．表示制御装置の機能構成）
続いて、本発明の第１の実施形態に係る表示制御装置１０Ａの機能構成例について説明する。図２は、本発明の第１の実施形態に係る表示制御装置１０Ａの機能構成例を示すブロック図である。図２に示したように、本発明の第１の実施形態に係る表示制御装置１０Ａは、制御部１１０Ａ、入力部１２０、通信部１３０、記憶部１４０および表示部１５０を備える。
(1-2. Functional configuration of display control device)
Subsequently, a functional configuration example of the
制御部１１０Ａは、表示制御装置１０Ａの動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、表示制御装置１０Ａに内蔵されたＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部１１０Ａは、映像取得部１１１、表示制御部１１２、選択部１１３、操作体軌跡検出部１１４および通知部１１５を備える。
The
入力部１２０は、監視者Ｋから各種情報の入力を受け付ける機能を有する。例えば、入力部１２０は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチなどによって構成されてよい。例えば、入力部１２０は、表示部１５０によって表示された各種画面からボタンを選択する操作、広域カメラ映像から各種領域を選択する操作などの入力を受け付けることができる。入力部１２０がタッチパネルによって構成される場合には、入力部１２０は、表示部１５０に積層されていてよい。
The
通信部１３０は、ネットワーク５０を介して映像解析装置２２Ａおよびカメラ制御装置４０との間で各種情報を送受信するための通信インタフェースである。例えば、通信部１３０は、ネットワーク５０を介して固定カメラ２１−１〜２１−４から広域カメラ映像を受信することが可能である。また、例えば、通信部１３０は、ネットワーク５０を介して可動カメラ３０から可動カメラ映像を受信することが可能である。
The
記憶部１４０は、制御部１１０Ａを動作させるためのプログラムやデータを記憶することができる。また、記憶部１４０は、制御部１１０Ａの動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の第１の実施形態では、記憶部１４０は、広域カメラ映像および可動カメラ映像を記憶することができる。
The
表示部１５０は、各種画面を表示する機能を有する。例えば、表示部１５０は、第１の表示領域に広域カメラ映像を表示し、第２の表示領域に可動カメラ映像を表示する機能を有する。例えば、表示部１５０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプなどの表示装置であってよい。
The
（１−３．映像解析装置の機能構成）
続いて、本発明の第１の実施形態に係る映像解析装置２２Ａの機能構成例について説明する。図３は、本発明の第１の実施形態に係る映像解析装置２２Ａの機能構成例を示すブロック図である。図３に示したように、本発明の第１の実施形態に係る映像解析装置２２Ａは、制御部２１０Ａ、通信部２３０および記憶部２４０を備える。
(1-3. Functional configuration of video analysis apparatus)
Subsequently, a functional configuration example of the
制御部２１０Ａは、映像解析装置２２Ａの動作全体を制御する機能を有し、専用のハードウェアによって構成されてもよいし、映像解析装置２２Ａに内蔵されたＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより実現されてもよい。かかるプログラムが提供され得る他、かかるプログラムを記憶させた記憶媒体も提供され得る。制御部２１０Ａは、動体軌跡検出部２１１、フレーム特定部２１２、動体検出部２１３Ａ、追尾対象特定部２１４Ａおよび位置特定部２１５を備える。
The
通信部２３０は、ネットワーク５０を介して表示制御装置１０Ａおよびカメラ制御装置４０との間で各種情報を送受信するための通信インタフェースである。例えば、通信部２３０は、固定カメラ２１−１〜２１−４によって撮像された広域カメラ映像を、ネットワーク５０を介して表示制御装置１０Ａに送信することが可能である。
The
記憶部２４０は、制御部２１０Ａを動作させるためのプログラムやデータを記憶することができる。また、記憶部２４０は、制御部２１０Ａの動作の過程で必要となる各種データを一時的に記憶することもできる。本発明の第１の実施形態では、記憶部２４０は、広域カメラ映像を記憶することができる。
The
以上、本発明の第１の実施形態に係る映像解析装置２２Ａの機能構成例について説明した。
The function configuration example of the
（１−４．背景）
続いて、本発明の第１の実施形態の背景について説明する。まず、表示制御装置１０Ａの表示制御部１１２は、初期の表示画面を表示部１５０に表示させる。図４は、初期の表示画面の構成例を示す図である。図４に示したように、初期の表示画面Ｇは、第１のボタン群Ｂ１、第２のボタン群Ｂ２、第１の表示領域Ｗ１〜Ｗ４、第２の表示領域Ｗ０、移動ボタンＢ３、ズームボタンＢ４などを含んでいる。第１の表示領域Ｗ１〜Ｗ４には、映像取得部１１１によって通信部１３０を介して取得された広域カメラ映像が、表示部１５０によって表示される。
(1-4. Background)
Next, the background of the first embodiment of the present invention will be described. First, the
第１の表示領域Ｗ１〜Ｗ４に表示された広域カメラ映像から、監視者Ｋの操作に基づいて選択部１１３によってフレーム選択およびそのフレームに対する領域選択が行われると、通知部１１５によって、通信部１３０およびネットワーク５０を介して選択領域がカメラ制御装置４０に通知される。ここで、領域選択が行われた時刻を選択時刻Ｔｍとする。
When the
図５は、選択時刻Ｔｍにおける表示画面の構成例を示す図である。図５に示したように、動体Ｍ１の映る領域が選択領域Ｒｍとして選択された場合を想定して説明する。そして、カメラ制御装置４０が、選択領域Ｒｍに応じた撮像範囲を撮像するように可動カメラ３０を制御すると、可動カメラ３０が、選択領域Ｒｍに応じた撮像範囲を撮像し、ネットワーク５０を介して可動カメラ映像を表示制御装置１０Ａに送信する。
FIG. 5 is a diagram illustrating a configuration example of the display screen at the selection time Tm. As shown in FIG. 5, description will be made on the assumption that the area in which the moving object M1 appears is selected as the selection area Rm. Then, when the
ここで、第１の表示領域Ｗ１〜Ｗ４に表示された広域カメラ映像における選択領域Ｒｍから可動カメラ３０の撮像範囲を特定する手法の例を説明する。図６は、広域カメラ映像における選択領域の位置と可動カメラの撮像方向（パン・チルト）との対応関係の例を説明するための図である。例えば、図６に示したように、選択領域の位置（ｘ，ｙ）と可動カメラ３０の撮像方向（パン・チルト）とがあらかじめ対応付けられている。選択領域の位置（ｘ，ｙ）と可動カメラ３０の撮像方向（パン・チルト）とが対応付けられた情報は、例えば、カメラ制御装置４０によって記憶されている。
Here, an example of a technique for specifying the imaging range of the
また、図７は、広域カメラ映像における選択領域のサイズと可動カメラの撮像サイズ（ズーム）との対応関係の例を説明するための図である。例えば、図７に示すように、選択領域のサイズ（ｒ）と可動カメラ３０の撮像サイズ（ズーム）とが対応付けられている。選択領域のサイズ（ｒ）と可動カメラ３０の撮像サイズ（ズーム）とが対応付けられた情報は、例えば、カメラ制御装置４０によって記憶されている。
FIG. 7 is a diagram for explaining an example of the correspondence relationship between the size of the selected area in the wide-area camera image and the imaging size (zoom) of the movable camera. For example, as shown in FIG. 7, the size (r) of the selected area and the imaging size (zoom) of the
なお、本明細書では、選択領域が縦横比一定の矩形領域であるとし、選択領域のサイズを、矩形領域の縦の長さによって規定することにする。しかし、選択領域のサイズはどのように規定されてもよい。例えば、選択領域のサイズは、矩形領域の横の長さによって規定されてもよいし、他の部分の長さ（例えば、矩形領域の縦の長さの半分、矩形領域の横の長さの半分など）によって規定されてもよい。 In this specification, it is assumed that the selected area is a rectangular area having a constant aspect ratio, and the size of the selected area is defined by the vertical length of the rectangular area. However, the size of the selection area may be defined in any way. For example, the size of the selected area may be defined by the horizontal length of the rectangular area, or the length of the other part (for example, half of the vertical length of the rectangular area, the horizontal length of the rectangular area) Half) etc.
図５に戻って説明を続ける。監視対象領域が固定カメラ２１−１〜２１−４によって撮像されて広域カメラ映像が得られると、広域カメラ映像が第１の表示領域Ｗ１〜Ｗ４に表示される。監視者Ｋによって広域カメラ映像から選択領域Ｒｍが選択されたとすると、表示制御装置１０Ａから、選択領域Ｒｍの広域カメラ映像における位置（ｘｍ，ｙｍ）および選択領域Ｒｍのサイズｒｍがカメラ制御装置４０に通知される。
Returning to FIG. When the monitoring target area is captured by the fixed cameras 21-1 to 21-4 and a wide area camera image is obtained, the wide area camera image is displayed in the first display areas W1 to W4. If the selection area Rm is selected from the wide area camera image by the monitor K, the position (xm, ym) of the selection area Rm in the wide area camera image and the size rm of the selection area Rm are sent to the
続いて、カメラ制御装置４０は、選択領域Ｒｍの広域カメラ映像における位置（ｘｍ，ｙｍ）に対応する撮像方向（パン・チルト）として（ｐｍ，ｔｍ）を取得し（図６参照）、サイズｒｍに対応する撮像サイズ（ズーム）としてｚｍを取得し（図７参照）、取得した撮像方向および撮像サイズによって規定される撮像範囲を撮像するように、可動カメラ３０を制御する。可動カメラ３０によって撮像された可動カメラ映像は、ネットワーク５０を介して表示制御装置１０Ａに提供される。
Subsequently, the
表示制御装置１０Ａの表示制御部１１２は、映像取得部１１１によって取得された可動カメラ映像を第２の表示領域Ｗ０に表示させる。このようにして、監視対象領域の広域カメラ映像を第１の表示領域Ｗ１〜Ｗ４に表示させるとともに、広域カメラ映像における選択領域Ｒｍに応じた撮像範囲の可動カメラ映像を第２の表示領域Ｗ０に表示させることによって、監視者Ｋに対して、広域カメラ映像と広域カメラ映像における選択領域に応じた撮像範囲の可動カメラ映像とを監視させることができる。
The
なお、第１のボタン群Ｂ１および第２のボタン群の各ボタンが押下されたときに実行される処理は特に限定されないが、例えば、所定のボタンが押下された場合には、広域カメラ映像および可動カメラ映像を表示制御装置１０Ａに提供する遠隔地の切り替えが行われるようにしてもよい。かかる場合には、初期の表示画面Ｇの第１の表示領域Ｗ１〜Ｗ４に表示される広域カメラ映像も変更される。
The processing executed when each button of the first button group B1 and the second button group is pressed is not particularly limited. For example, when a predetermined button is pressed, The remote location for providing the movable camera image to the
また、表示制御部１１２は、移動ボタンＢ３が押下された場合には、第１の表示領域Ｗ１〜Ｗ４に表示されている広域カメラ映像における選択領域の位置を移動させることができる。選択領域が移動された後は、移動後の選択領域に応じた撮像範囲の可動カメラ映像が第２の表示領域Ｗ０に表示されてよい。
In addition, when the move button B3 is pressed, the
一方、表示制御部１１２は、ズームボタンＢ４が押下された場合には、広域カメラ映像における選択領域を拡大または縮小させることができる。選択領域が拡大または縮小された後は、拡大または縮小後の選択領域に応じた撮像範囲の可動カメラ映像が第２の表示領域Ｗ０に表示されてよい。
On the other hand, when the zoom button B4 is pressed, the
ここで、広域カメラ映像において領域選択がなされてから、選択領域Ｒｍに応じた撮像範囲が可動カメラ３０によって撮像されるまでには、タイムラグが生じ得る。具体的には、広域カメラ映像が固定カメラ２１−１〜２１−４によって送信されてから表示制御装置１０Ａに到達するまでの時間、広域カメラ映像が表示制御装置１０Ａに到達してから表示されるまでの時間、広域カメラ映像における選択領域Ｒｍの通知が表示制御装置１０Ａによってなされてからカメラ制御装置４０によって受け取られるまでの時間、選択領域Ｒｍに応じた撮像方向を撮像するように可動カメラ３０を制御するために要する時間などがタイムラグとなり得る。
Here, there may be a time lag between the area selection in the wide-area camera image and the imaging range corresponding to the selection area Rm being imaged by the
そのため、可動カメラ３０が選択領域Ｒｍに応じた撮像範囲を撮像したときには、選択領域Ｒｍには既に動体Ｍ１が存在しない可能性が高まるため、図５に示したように、第２の表示領域Ｗ０に表示される可動カメラ映像には、動体Ｍ１が存在しない可能性が高まり、動体追尾の精度が低下する可能性がある。そこで、本明細書においては、広域カメラ映像に基づいて動体Ｍ１を可動カメラ３０でより高精度に追尾することが可能な技術を提案する。
Therefore, when the
以上、本発明の第１の実施形態の背景について説明した。 The background of the first embodiment of the present invention has been described above.
（１−５．監視システムの機能詳細）
続いて、本発明の第１の実施形態に係る監視システム１Ａの機能詳細について説明する。本発明の第１の実施形態に係る監視システム１Ａにおいて、映像解析装置２２Ａの動体軌跡検出部２１１は、追跡処理により動体軌跡を検出する。より具体的には、動体軌跡検出部２１１は、過去の広域カメラ映像を参照しながら、連続するフレーム間において同一の動体であると予測される動体同士を対応付ける処理によって動体の軌跡を検出してよい。ここで、動体を検出する手法は特に限定されない。
(1-5. Detailed functions of monitoring system)
Subsequently, functional details of the
例えば、過去の広域カメラ映像のうち変化が生じた領域が動体として検出されてもよい。あるいは、動体は、背景差分技術を用いて検出されてもよいし、フレーム間差分技術を用いて検出されてもよいし、オプティカルフローに基づいて検出されてもよい。あるいは、広域カメラ映像に映る可能性のある物体（例えば、航空機、車、人など）の画像特徴量をあらかじめ学習しておき、広域カメラ映像からその画像特徴量が検出された場合に、物体が検出された領域を動体として検出してもよい。 For example, an area where a change has occurred in past wide-area camera images may be detected as a moving object. Alternatively, the moving object may be detected using a background difference technique, may be detected using an inter-frame difference technique, or may be detected based on an optical flow. Alternatively, when an image feature amount of an object (for example, an aircraft, a car, a person, etc.) that may appear in the wide-area camera image is learned in advance, and the image feature amount is detected from the wide-area camera image, the object is You may detect the detected area | region as a moving body.
連続フレーム間において同一の動体であると予測してよい状況は限定されないが、例えば、上記のようにして検出された動体の位置同士の距離が所定の範囲に収まるときには、連続フレーム間において同一の物体であると予測されてよい。所定の範囲は、あらかじめ設定されていてよく、動体の特性ごとに異なっていてもよい。このようにして、動体軌跡検出部２１１によって検出された動体軌跡を記憶部２４０に記憶させておくことが可能である。続いて、監視者Ｋが第１の表示領域Ｗ１〜Ｗ４に表示された広域カメラ映像から追尾対象として特定させたい動体を見つけた場合、その動体の動きに沿って操作体の軌跡を入力する。
The situation that may be predicted to be the same moving object between consecutive frames is not limited, but for example, when the distance between the positions of moving objects detected as described above falls within a predetermined range, It may be predicted to be an object. The predetermined range may be set in advance and may be different for each characteristic of the moving object. In this way, the moving object locus detected by the moving object
図８は、広域カメラ映像における操作体軌跡の入力について説明するための図である。図８に示すように、監視者Ｋが第１の表示領域Ｗ１〜Ｗ４に表示された広域カメラ映像から追尾対象として特定させたい動体Ｍ１を見つけた場合を想定する。かかる場合、監視者Ｋは、動体Ｍ１の軌跡に沿って操作体軌跡（図８に示した例では、監視者Ｋの指の軌跡）Ｔｒを入力部１２０に入力すると、操作体軌跡検出部１１４によって操作体軌跡Ｔｒが検出される。入力部１２０のハードウェア構成は特に限定されない。
FIG. 8 is a diagram for explaining the input of the operation tool locus in the wide-area camera image. As shown in FIG. 8, a case is assumed where the supervisor K finds a moving object M1 to be specified as a tracking target from the wide-area camera video displayed in the first display areas W1 to W4. In this case, when the monitoring person K inputs the operating object locus (trajectory of the monitoring person K's finger in the example shown in FIG. 8) Tr along the locus of the moving object M1 to the
例えば、入力部１２０が表示部１５０に重畳されたタッチパネルである場合には、操作体軌跡検出部１１４は、タッチパネルに対して操作体が接触しながら移動した軌跡を操作体軌跡として検出する。しかし、入力部１２０はタッチパネルに限定されない。例えば、入力部１２０はカメラであってもよい。入力部１２０はカメラである場合には、カメラによって撮像された画像から検出された監視者Ｋの身体の一部または全部（例えば、監視者Ｋの手や指など）が操作体となり、操作体軌跡検出部１１４は、操作体が移動した軌跡を操作体軌跡として検出する。
For example, when the
表示制御装置１０Ａにおいて、通知部１１５は、このようにして検出された操作体軌跡を、通信部１３０を介して映像解析装置２２Ａに通知する。ここで、監視者Ｋが動体Ｍ１に沿って操作体軌跡を入力させた場合には、動体Ｍ１の軌跡と操作体軌跡とが一致または類似すると考えられる。そこで、映像解析装置２２Ａにおいては、通信部２３０によって操作体軌跡が受信されると、追尾対象特定部２１４Ａは、記憶部２４０によって記憶されている動体軌跡と通信部２３０によって受信された操作体軌跡とが一致または類似するか否かを判定する。
In the
追尾対象特定部２１４Ａは、記憶部２４０によって記憶されている動体軌跡と通信部２３０によって受信された操作体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する。動体軌跡と操作体軌跡との類似範囲はあらかじめ定められていてよい。なお、動体軌跡と操作体軌跡とが一致または類似しているか否かの判定手法は特に限定されないが、一例として、文献（矢島史、中西吉洋、田中克己「動きの直接指定と時間関連指定に基づく移動体映像検索」，情報処理学会研究報告. データベース・システム研究会報告 2001(71), 169-176,
2001-07-19）によって開示されている時系列マッチングが利用され得る。
When the moving object trajectory stored in the
The time series matching disclosed by 2001-07-19) can be used.
追尾対象を特定するための条件としては、記憶部２４０によって記憶されている動体軌跡と通信部２３０によって受信された操作体軌跡とが一致または類似するという条件だけではなく、他の条件が追加されてもよい。例えば、第１の表示領域Ｗ１〜Ｗ４に表示された広域カメラ映像から監視者Ｋによって選択されたフレームおよび監視者Ｋによって選択された領域がさらに考慮されてもよい。そうすれば、動体の追尾精度がさらに向上することが期待される。
As a condition for specifying the tracking target, not only a condition that the moving object trajectory stored in the
例えば、第１の表示領域Ｗ１〜Ｗ４に表示された広域カメラ映像から、監視者Ｋの操作に基づいて選択部１１３によってフレーム選択およびそのフレーム（以下、「選択フレーム」とも言う。）に対する領域選択が行われると、選択領域が通知部１１５によって通信部１３０およびネットワーク５０を介して映像解析装置２２Ａに通知されてよい。図８に示したように、選択領域Ｒｍは、操作体軌跡の開始位置が属する領域であってもよいし、操作体軌跡とは別に選択されてもよい。フレーム特定部２１２は、ネットワーク５０を介して選択領域が通知された場合、蓄積されている過去の広域カメラ映像から選択フレームを特定することが可能である。
For example, from the wide-area camera video displayed in the first display areas W1 to W4, the
図９は、選択フレームを特定する例を説明するための図である。図９を参照すると、監視対象領域Ｎ１〜Ｎ４が示されている。また、記憶部２４０に蓄積されている過去の各時刻における広域カメラ映像が過去の蓄積映像として示されている。選択時刻Ｔｍにおいては、動体Ｍ１が位置Ｐ（Ｔｍ）に存在しているが、実際に可動カメラ３０の撮像範囲が切り替えられる時刻（以下、「切り替え時刻」とも言う。）Ｔにおいては、動体Ｍ１が既に位置Ｐ（Ｔ）に移動してしまっている。
FIG. 9 is a diagram for explaining an example of specifying a selection frame. Referring to FIG. 9, monitoring target areas N1 to N4 are shown. In addition, the wide-area camera video at each past time stored in the
そこで、映像解析装置２２Ａのフレーム特定部２１２は、ネットワーク５０を介して表示制御装置１０Ａから選択領域Ｒｍが通知された場合、蓄積されている過去の広域カメラ映像から、選択フレーム（図９に示した例では、蓄積映像のうち選択時刻Ｔｍに撮像されたフレーム）を特定する。
Therefore, when the selection area Rm is notified from the
ここで、選択フレームの特定手法は限定されない。例えば、広域カメラ映像の各フレームには、フレームが撮像された時刻（以下、「フレーム撮像時刻」とも言う。）が付与される場合がある。かかる場合には、表示制御装置１０Ａの通知部１１５から選択フレームに付与されていたフレーム撮像時刻も映像解析装置２２Ａに通知されるようにすればよい。そうすれば、フレーム特定部２１２は、過去の広域カメラ映像を参照して、通知されたフレーム撮像時刻と一致するフレーム撮像時刻が付与されているフレームを選択フレームとして特定すればよい。
Here, the method for specifying the selected frame is not limited. For example, each frame of the wide-area camera video may be given a time when the frame was captured (hereinafter also referred to as “frame capture time”). In such a case, the frame analysis time given to the selected frame from the
あるいは、表示制御装置１０Ａにおいて選択フレームに対する領域選択がなされてから、映像解析装置２２Ａにおいて選択領域Ｒｍの通知を受けるまでに要する時間がほぼ一定である場合も想定される。かかる場合には、その時間（所定時間）をあらかじめ計測しておいてもよい。そうすれば、フレーム特定部２１２は、過去の広域カメラ映像から、選択領域Ｒｍが通知された時刻より所定時間前のフレーム撮像時刻が付与されているフレームを選択フレームとして特定することも可能である。
Alternatively, it may be assumed that the time required from the
続いて、動体検出部２１３Ａは、選択フレームにおける選択領域Ｒｍから動体Ｍ１を検出する。例えば、動体検出部２１３Ａは、選択フレームにおける選択領域Ｒｍを解析することによって、動体Ｍ１の位置およびサイズを検出してもよい。選択フレームにおける選択領域Ｒｍから動体Ｍ１を検出する手法は特に限定されず、上記した手法により検出することが可能である。追尾対象特定部２１４Ａは、操作体軌跡と動体軌跡とが一致または類似する場合、かつ、動体軌跡の選択フレームにおける位置と選択フレームにおける選択領域Ｒｍから検出された動体の位置とが一致する場合、当該動体を追尾対象として特定すればよい。
Subsequently, the moving
図１０は、特定された追尾対象の例を説明するための図である。図１０には、追尾対象特定部２１４Ａが、選択時刻Ｔｍから切り替え時刻Ｔまでの各時刻における広域カメラ映像の位置Ｐ（Ｔｍ）からＰ（Ｔ）までに映る動体を同一の動体Ｍ１であると予測し、１つの動体Ｍ１の軌跡を検出する例が示されている。かかる状況においては、追尾対象特定部２１４Ａは、検出した軌跡の数が１つであるため、動体の数も１つであると推定し、動体Ｍ１を追尾対象として特定してよい。一方、動体の数が複数であると推定された場合については、複数の動体から１つの動体を追尾対象として選択すればよい。
FIG. 10 is a diagram for explaining an example of the identified tracking target. In FIG. 10, the tracking target specifying unit 214 </ b> A has the same moving object M <b> 1 as the moving object reflected from the position P (Tm) to P (T) of the wide-area camera image at each time from the selection time Tm to the switching time T. An example of predicting and detecting the trajectory of one moving body M1 is shown. In such a situation, the tracking
続いて、位置特定部２１５は、追尾対象の最新位置を特定する。追尾対象の最新位置の特定手法についても特に限定されない。例えば、位置特定部２１５は、過去の広域カメラ映像の複数フレームそれぞれに映る追尾対象Ｍ１の位置（例えば、Ｐ（Ｔ）およびＰ（Ｔ−１））から推定した追尾対象Ｍ１の現在位置を追尾対象の最新位置Ｐ（Ｔｕ）として特定してよい。
Subsequently, the
追尾対象Ｍ１の現在位置の推定手法も限定されないが、例えば、追尾対象Ｍ１の移動速度が一定であると仮定すれば、位置特定部２１５は、追尾対象Ｍ１の時間に対する位置が線形的に変化すると予測して、追尾対象Ｍ１の現在位置を推定することができる。図１０には、位置特定部２１５が、追尾対象Ｍ１の時間に対する位置が線形的に変化すると予測して、追尾対象Ｍ１の現在位置を推定し、推定した追尾対象Ｍ１の現在位置を追尾対象の最新位置Ｐ（Ｔｕ）として特定する例が示されている。
The method for estimating the current position of the tracking target M1 is not limited. For example, assuming that the moving speed of the tracking target M1 is constant, the
続いて、位置特定部２１５は、特定した追尾対象Ｍ１の最新位置Ｐ（Ｔｕ）を、通信部２３０およびネットワーク５０を介して、カメラ制御装置４０に通知する。そして、カメラ制御装置４０は、通知された追尾対象Ｍ１の最新位置Ｐ（Ｔｕ）に応じた撮像方向（パン・チルト）を可動カメラ３０に撮像させればよい。図１１は、追尾対象Ｍ１の最新位置Ｐ（Ｔｕ）に応じた撮像方向（パン・チルト）＝（ｐｕ，ｔｕ）を撮像するように可動カメラ３０が制御された状況を示した図である。
Subsequently, the
以上に説明した構成によれば、映像解析装置２２Ａにおいて、フレーム特定部２１２によって記憶部２４０に蓄積されている過去の広域カメラ映像から選択フレームが特定され、動体検出部２１３Ａによって選択フレームにおける選択領域から動体が検出される。そして、追尾対象特定部２１４Ａによって動体の追跡処理により追尾対象が特定され、位置特定部２１５によって追尾対象の最新位置が特定される。また、カメラ制御装置４０によって、最新位置に応じた撮像方向が可動カメラ３０によって撮像されるように制御される。したがって、動体を可動カメラ３０でより高精度に追尾することが可能となる。
According to the configuration described above, in the
続いて、可動カメラ３０は、追尾対象Ｍ１の最新位置Ｐ（Ｔｕ）に応じた撮像方向（パン・チルト）＝（ｐｕ，ｔｕ）を撮像すると、撮像した可動カメラ映像を、ネットワーク５０を介して表示制御装置１０Ａに送信する。表示制御装置１０Ａにおいては、映像取得部１１１が、ネットワーク５０および通信部１３０を介して可動カメラ映像を取得すると、表示制御部１１２が、可動カメラ映像を表示部１５０に表示させる。
Subsequently, when the
図１２は、追尾対象Ｍ１の最新位置Ｐ（Ｔｕ）に応じた撮像方向（パン・チルト）＝（ｐｕ，ｔｕ）を撮像した可動カメラ映像の表示例を示す図である。図１２に示すように、可動カメラ映像は、第２の表示領域Ｗ０に表示されてよい。なお、図１２に示したように、広域カメラ映像における選択領域は、追尾対象Ｍ１の最新位置Ｐ（Ｔｕ）に応じた領域Ｒｕによって更新されてよい。このとき、更新後の選択領域のサイズは、更新前と同じであってもよいし、追尾対象として特定された動体サイズに基づいて決められてもよい。 FIG. 12 is a diagram illustrating a display example of a movable camera image obtained by imaging the imaging direction (pan / tilt) = (pu, tu) according to the latest position P (Tu) of the tracking target M1. As shown in FIG. 12, the movable camera image may be displayed in the second display area W0. As shown in FIG. 12, the selected area in the wide-area camera image may be updated with an area Ru corresponding to the latest position P (Tu) of the tracking target M1. At this time, the size of the selected area after the update may be the same as that before the update, or may be determined based on the moving object size specified as the tracking target.
続いて、本発明の第１の実施形態に係る監視システム１Ａの動作について説明する。図１３は、本発明の第１の実施形態に係る監視システム１Ａの動作の例を示すシーケンス図である。なお、図１３に示したシーケンス図は、本発明の第１の実施形態に係る監視システム１Ａの動作の流れの一例に過ぎない。したがって、かかる動作の流れは、図１３に示したシーケンス図に限定されない。
Next, the operation of the
図１３に示すように、映像解析装置２２Ａは、固定カメラ２１−１〜２１―４によって広域カメラ映像が撮像されると、撮像された広域カメラ映像を、ネットワーク５０を介して表示制御装置１０Ａに送信する（ステップＳ１０１）。また、動体軌跡検出部２１１は、が広域カメラ映像から動体軌跡を検出し、記憶部２４０に記憶させておく（ステップＳ１０２）。表示制御装置１０Ａにおいては、通信部１３０が広域カメラ映像を受信し、映像取得部１１１が広域カメラ映像を取得し、表示制御部１１２が広域カメラ映像を第１の表示領域Ｗ１〜Ｗ４に表示させる（ステップＳ１１１）。
As shown in FIG. 13, when the wide-area camera video is captured by the fixed cameras 21-1 to 21-4, the
続いて、監視者Ｋによって広域カメラ映像において領域選択がなされると、選択部１１３は、フレームおよび領域を選択する（ステップＳ１１２）。また、監視者Ｋによって操作体軌跡が入力されると、操作体軌跡検出部１１４は、操作体軌跡を検出する（ステップＳ１１３）。続いて、通知部１１５は、通信部１３０を介して選択領域を映像解析装置２２Ａに通知する（ステップＳ１１４）。映像解析装置２２Ａにおいては、フレーム特定部２１２が表示制御装置１０Ａによって選択されたフレームを特定し（ステップＳ１２１）、動体検出部２１３Ａが選択フレームにおける選択領域から動体を検出する（ステップＳ１２２）。
Subsequently, when an area is selected in the wide-area camera image by the supervisor K, the
続いて、追尾対象特定部２１４Ａが、動体検出部２１３Ａによる検出結果に基づいて、動体軌跡同士のマッチングにより追尾対象を特定すると（ステップＳ１２３）、位置特定部２１５が追尾対象の最新位置を特定し（ステップＳ１２４）、通信部２３０およびネットワーク５０を介して最新位置をカメラ制御装置４０に通知する（ステップＳ１２６）。カメラ制御装置４０は、最新位置に応じた撮像方向を可動カメラ３０に撮像させ（ステップＳ１３１）、撮像によって得られた可動カメラ映像を表示制御装置１０Ａに送信する（ステップＳ１３２）。
Subsequently, when the tracking
続いて、表示制御装置１０Ａにおいては、通信部１３０が可動カメラ映像を受信し、表示制御部１１２は、可動カメラ映像を第２の表示領域Ｗ０に表示させる（ステップＳ１４１）。以上、本発明の第１の実施形態に係る監視システム１Ａの動作について説明した。
Subsequently, in the
（１−６．第１の実施形態の有効性）
本発明の第１の実施形態によれば、映像解析装置２２Ａにおいて、動体軌跡検出部２１１が、あらかじめ広域カメラ映像から動体軌跡を検出しておく。そして、追尾対象特定部２１４Ａは、操作体軌跡と動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する。位置特定部２１５は、追尾対象の最新位置を特定する。カメラ制御装置４０は、最新位置に応じた撮像方向を可動カメラ３０に撮像させる。
(1-6. Effectiveness of the first embodiment)
According to the first embodiment of the present invention, in the
かかる構成によれば、広域カメラ映像中に複数の動体が隣接して存在しているような場合であっても、追尾を希望する動体の動体軌跡を入力することで、追尾対象の動体の特定が行える。この結果、広域カメラ映像に基づいて、追尾対象の動体を可動カメラ３０でより高精度に追尾することが可能となる。なお、上記においては、動体軌跡検出部２１１が、あらかじめ広域カメラ映像から動体軌跡を検出しておく例を説明したが、広域カメラ映像から動体軌跡を検出するタイミングはかかる例に限定されない。例えば、記憶部２４０に広域カメラ映像を記憶しておいてもよい。かかる場合、動体軌跡検出部２１１は、操作体軌跡が通知されたときに広域カメラ映像から動体軌跡を検出してもよい。
According to such a configuration, even when there are a plurality of moving objects adjacent to each other in the wide-area camera image, the moving object trajectory of the moving object that is desired to be tracked is input, thereby specifying the moving object to be tracked. Can be done. As a result, the moving object to be tracked can be tracked with higher accuracy by the
以上、本発明の第１の実施形態について説明した。 The first embodiment of the present invention has been described above.
（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。上記の図１の説明図において、符号の後にアルファベットＢを付した構成が第２の実施形態の監視システム１Ｂに対応している。以下において、本発明の第２の実施形態に係る構成のうち、本発明の第１の実施形態に係る構成と共通する構成に対しては、本発明の第１の実施形態に係る構成に付された符号と同一の符号を付し、かかる構成についての詳細な説明を省略する。
(2. Second Embodiment)
Subsequently, a second embodiment of the present invention will be described. In the explanatory diagram of FIG. 1 described above, the configuration with the alphabet B after the reference corresponds to the
（２−１．表示制御装置の機能構成）
図１４を参照しながら、本発明の第２の実施形態に係る表示制御装置１０Ｂの機能構成例について説明する。図１４は、本発明の第２の実施形態に係る表示制御装置１０Ｂの機能構成例を示すブロック図である。図１４に示したように、本発明の第２の実施形態に係る表示制御装置１０Ｂは、制御部１１０Ａの代わりに制御部１１０Ｂを備える点において、本発明の第１の実施形態に係る表示制御装置１０Ａと異なり、制御部１１０Ｂは、追加的に、動体検出部２１３Ｂおよび追尾対象特定部２１４Ｂを備える。また、通知部１１５の代わりに、追尾対象通知部１１６を備える。
(2-1. Functional configuration of display control device)
With reference to FIG. 14, a functional configuration example of the
（２−２．映像解析装置の機能構成）
図１５を参照しながら、本発明の第２の実施形態に係る映像解析装置２２Ｂの機能構成例について説明する。図１５は、本発明の第２の実施形態に係る映像解析装置２２Ｂの機能構成例を示すブロック図である。図１５に示したように、映像解析装置２２Ｂは、制御部２１０Ａの代わりに制御部２１０Ｂを備える点において、本発明の第１の実施形態と異なる。図１５に示したように、制御部２１０Ｂは、動体検出部２１３および追尾対象特定部２１４を備えていない。
(2-2. Functional configuration of video analysis device)
With reference to FIG. 15, a functional configuration example of the
（２−３．監視システムの機能詳細）
本発明の第１の実施形態においては、映像解析装置２２Ｂにおいて追尾対象を特定する例を説明した。しかし、表示制御装置１０Ｂにおいて追尾対象を特定する場合もあり得る。そこで、本発明の第２の実施形態においては、表示制御装置１０Ｂにおいて追尾対象を特定する例を説明する。具体的には、映像解析装置２２Ｂにおいて、動体軌跡検出部２１１は、事前に広域カメラ映像から動体軌跡を検出し、検出した動体軌跡に当該動体の識別情報を付与する。記憶部２４０は、当該動体の識別情報が付与された動体軌跡を記憶しておく。また、通信部２３０は、動体軌跡および識別情報の組み合わせを、ネットワーク５０を介して表示制御装置１０Ｂに送信する。
(2-3. Detailed functions of monitoring system)
In the first embodiment of the present invention, the example in which the tracking target is specified in the
一方、表示制御装置１０Ｂにおいて、映像取得部１１１は、ネットワーク５０を介して広域カメラ映像を取得し、表示制御部１１２は、広域カメラ映像を表示部１５０に表示させる。そして、操作体軌跡検出部１１４によって広域カメラ映像における操作体軌跡が検出され、通信部１３０によって動体軌跡および識別情報の組み合わせがネットワーク５０を介して受信されると、追尾対象特定部２１４Ｂは、操作体軌跡と動体軌跡とが一致または類似するか否かを判定する。
On the other hand, in the
追尾対象特定部２１４Ｂは、操作体軌跡と動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する。そして、追尾対象通知部１１６は、追尾対象の識別情報を映像解析装置２２Ｂに通知する。続いて、映像解析装置２２Ｂにおいては、通信部２３０によって追尾対象の識別情報が受信されると、位置特定部２１５は、追尾対象の識別情報によって識別される追尾対象の最新位置を特定する。カメラ制御装置４０は、最新位置に応じた撮像方向を可動カメラに撮像させる。
The tracking
続いて、本発明の第２の実施形態に係る監視システムの動作の例について説明する。図１６は、本発明の第２の実施形態に係る監視システムの動作の例を示すシーケンス図である。なお、図１６に示したシーケンス図は、本発明の第２の実施形態に係る監視システムの動作の流れの一例に過ぎない。したがって、かかる動作の流れは、図１６に示したシーケンス図に限定されない。 Then, the example of operation | movement of the monitoring system which concerns on the 2nd Embodiment of this invention is demonstrated. FIG. 16 is a sequence diagram illustrating an example of the operation of the monitoring system according to the second embodiment of the present invention. Note that the sequence diagram shown in FIG. 16 is merely an example of the operation flow of the monitoring system according to the second embodiment of the present invention. Therefore, the flow of such operations is not limited to the sequence diagram shown in FIG.
図１６に示すように、映像解析装置２２Ｂは、固定カメラ２１−１〜２１―４によって広域カメラ映像が撮像されると、撮像された広域カメラ映像を、ネットワーク５０を介して表示制御装置１０Ｂに送信する（ステップＳ１０１）。また、動体軌跡検出部２１１は、が広域カメラ映像から動体軌跡を検出して記憶部２４０に記憶させておき（ステップＳ１０２）、動体軌跡および当該動体の識別情報（ＩＤ）を、通信部２３０を介して表示制御装置１０Ｂに通知する（ステップＳ１０３）。
As illustrated in FIG. 16, when the wide-area camera image is captured by the fixed cameras 21-1 to 21-4, the
表示制御装置１０Ｂにおいては、通信部１３０が広域カメラ映像を受信し、映像取得部１１１が広域カメラ映像を取得し、表示制御部１１２が広域カメラ映像を第１の表示領域Ｗ１〜Ｗ４に表示させる（ステップＳ１１１）。続いて、監視者Ｋによって広域カメラ映像において領域選択がなされると、選択部１１３は、フレームおよび領域を選択する（ステップＳ１１２）。また、監視者Ｋによって操作体軌跡が入力されると、操作体軌跡検出部１１４は、操作体軌跡を検出する（ステップＳ１１３）。
In the
続いて、動体検出部２１３Ｂは、選択フレームにおける選択領域から動体を検出する（ステップＳ１２２）。続いて、追尾対象特定部２１４Ｂが、動体検出部２１３Ｂによる検出結果に基づいて、動体軌跡同士のマッチングにより追尾対象を特定すると（ステップＳ１２３）、追尾対象通知部１１６は、追尾対象の識別情報（ＩＤ）を、通信部１３０を介して映像解析装置２２Ｂに通知する（ステップＳ１２７）。
Subsequently, the moving
映像解析装置２２Ｂにおいては、位置特定部２１５が追尾対象の識別情報（ＩＤ）に基づいて、追尾対象の最新位置を特定し（ステップＳ１２４）、通信部２３０およびネットワーク５０を介して最新位置をカメラ制御装置４０に通知する（ステップＳ１２６）。カメラ制御装置４０は、最新位置に応じた撮像方向を可動カメラ３０に撮像させ（ステップＳ１３１）、撮像によって得られた可動カメラ映像を表示制御装置１０Ｂに送信する（ステップＳ１３２）。
In the
続いて、表示制御装置１０Ｂにおいては、通信部１３０が可動カメラ映像を受信し、表示制御部１１２は、可動カメラ映像を第２の表示領域Ｗ０に表示させる（ステップＳ１４１）。以上、本発明の第２の実施形態に係る監視システム１Ｂの動作について説明した。
Subsequently, in the
（２−３．第２の実施形態の有効性）
本発明の第２の実施形態によれば、映像解析装置２２Ｂにおいて、動体軌跡検出部２１１が、あらかじめ広域カメラ映像から動体軌跡を検出し、その動体の識別情報（ＩＤ）を表示制御装置１０Ｂに通知する。そして、追尾対象特定部２１４Ｂは、操作体軌跡と動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定し、追尾対象通知部１１６は、追尾対象の識別情報（ＩＤ）を映像解析装置２２Ｂに通知する。
(2-3. Effectiveness of Second Embodiment)
According to the second embodiment of the present invention, in the
そうすると、映像解析装置２２Ｂにおいて、位置特定部２１５は、追尾対象の識別情報（ＩＤ）によって識別される追尾対象の最新位置を特定する。カメラ制御装置４０は、最新位置に応じた撮像方向を可動カメラ３０に撮像させる。かかる構成によっても、広域カメラ映像中に複数の動体が隣接して存在しているような場合であっても、追尾を希望する動体の動体軌跡を入力することで、追尾対象の動体の特定が行える。この結果、広域カメラ映像に基づいて、追尾対象の動体を可動カメラ３０でより高精度に追尾することが可能となる。
Then, in the
以上、本発明の第２の実施形態について説明した。 The second embodiment of the present invention has been described above.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
例えば、本発明の第１の実施形態においては、追尾対象Ｍ１の現在位置の推定手法として、位置特定部２１５が、追尾対象Ｍ１の時間に対する位置が線形的に変化すると予測して、追尾対象Ｍ１の現在位置を推定する例を説明した。しかし、追尾対象Ｍ１の現在位置の推定手法はかかる例に限定されない。例えば、位置特定部２１５は、記憶部２４０に蓄積されている過去の広域カメラ映像の中から最新のフレームを特定し、特定した最新のフレームに映る追尾対象Ｍ１の位置を追尾対象の最新位置として特定してもよい。
For example, in the first embodiment of the present invention, as a method for estimating the current position of the tracking target M1, the
また、広域カメラ映像を得る手段は、固定カメラに限らず可動カメラ（以下、広域可動カメラ）を用いることもできる。この場合、広域可動カメラで撮影した広域カメラ映像と当該広域カメラ映像撮影時の広域可動カメラの撮影方向等の条件とを関連付けて蓄積しておくことで、フレーム特定部で特定したフレームの撮影方向等の情報も取得可能となり、これらの情報を利用することで、位置特定部で追尾対象の監視対象空間中の最新位置を特定することが可能となる。 The means for obtaining the wide-area camera image is not limited to a fixed camera, and a movable camera (hereinafter referred to as a wide-area movable camera) can also be used. In this case, the shooting direction of the frame specified by the frame specifying unit is stored by associating and storing the wide-area camera video shot by the wide-area movable camera and the conditions such as the shooting direction of the wide-area movable camera at the time of shooting the wide-area camera video. Such information can be acquired, and by using these pieces of information, the position specifying unit can specify the latest position in the monitoring target space to be tracked.
より具体的に説明すると、広域可動カメラの所定の撮影方向において、動体追尾用の可動カメラとの対応づけを行い、その結果を対応表として予め記録しておく。そして、広域可動カメラの撮影方向が変化した場合は、その撮影方向変化等に対応した幾何学変換を行うことで、先に記録した対応表も同様の幾何学変換を行う。このような処理を行う対応表を用いることで、広域可動カメラからの広域カメラ映像が動いている場合でも、位置特定部で動体追尾用の可動カメラを向けるべき追尾対象の最新位置を特定できる。 More specifically, it is associated with a movable camera for moving object tracking in a predetermined shooting direction of the wide area movable camera, and the result is recorded in advance as a correspondence table. When the shooting direction of the wide-area movable camera changes, geometric conversion corresponding to the change in shooting direction or the like is performed to perform the same geometric conversion on the previously recorded correspondence table. By using the correspondence table for performing such processing, even when the wide area camera image from the wide area movable camera is moving, the position specifying unit can specify the latest position of the tracking target to which the movable camera for moving body tracking should be directed.
１（１Ａ、１Ｂ） 監視システム
１０（１０Ａ、１０Ｂ） 表示制御装置
２０ 監視装置
２１ 固定カメラ
２２（２２Ａ、２２Ｂ） 映像解析装置
３０ 可動カメラ
４０ カメラ制御装置
５０ ネットワーク
１１０（１１０Ａ、１１０Ｂ） 制御部
１１１ 映像取得部
１１２ 表示制御部
１１３ 選択部
１１４ 操作体軌跡検出部
１１５ 通知部
１１６ 追尾対象通知部
１２０ 入力部
１３０ 通信部
１４０ 記憶部
１５０ 表示部
２２（２２Ａ、２２Ｂ） 映像解析装置
２１０（２１０Ａ、２１０Ｂ） 制御部
２１１ 動体軌跡検出部
２１２ フレーム特定部
２１３（２１３Ａ、２１３Ｂ） 動体検出部
２１４（２１４Ａ、２１４Ｂ） 追尾対象特定部
２１５ 位置特定部
２３０ 通信部
２４０ 記憶部
Ｇ 表示画面
Ｋ 監視者
Ｎ１〜Ｎ４ 監視対象領域
Ｒｍ 選択領域
Ｔｒ 操作体軌跡
Ｍ１ 動体（追尾対象）
Ｗ１〜Ｗ４ 第１の表示領域
Ｗ０ 第２の表示領域
1 (1A, 1B) Monitoring system 10 (10A, 10B)
W1 to W4 First display area W0 Second display area
Claims (13)
前記映像解析装置は、
広域カメラ映像を記憶している記憶部を備え、
前記表示制御装置は、
ネットワークを介して前記広域カメラ映像を取得する映像取得部と、
前記広域カメラ映像を表示部に表示させる表示制御部と、
前記広域カメラ映像における操作体軌跡を検出する操作体軌跡検出部と、
前記操作体軌跡を前記映像解析装置に通知する通知部と、を備え、
前記映像解析装置は、
前記操作体軌跡が通知されると、前記記憶部によって記憶されている前記広域カメラ映像から動体軌跡を検出する動体軌跡検出部と、
前記操作体軌跡と前記動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、を備え、
前記カメラ制御装置は、
前記最新位置に応じた撮像方向を可動カメラに撮像させる、
監視システム。 In a surveillance system having a video analysis device, a display control device, and a camera control device,
The video analysis device
It has a storage unit that stores wide-area camera images,
The display control device includes:
A video acquisition unit for acquiring the wide-area camera video via a network;
A display control unit for displaying the wide-area camera image on a display unit;
An operation object locus detection unit for detecting an operation object locus in the wide-area camera image;
A notification unit that notifies the video analysis device of the operating object locus,
The video analysis device
When the operating object trajectory is notified, a moving object trajectory detecting unit that detects a moving object trajectory from the wide-area camera image stored in the storage unit;
A tracking target specifying unit for specifying the moving object as a tracking target when the operating object locus and the moving object locus are identical or similar;
A position specifying unit for specifying the latest position of the tracking target,
The camera control device includes:
Causing the movable camera to image the imaging direction according to the latest position;
Monitoring system.
前記表示制御部は、前記可動カメラ映像を表示させる、
請求項１に記載の監視システム。 The video acquisition unit acquires a movable camera image captured by the movable camera,
The display control unit displays the movable camera image;
The monitoring system according to claim 1.
請求項１に記載の監視システム。 The operating object locus detecting unit detects a locus moved while the operating object is in contact with the touch panel superimposed on the display unit, as the operating object locus.
The monitoring system according to claim 1.
前記広域カメラ映像からフレームを選択フレームとして選択するとともに前記選択フレームにおける領域を選択領域として選択する選択部を備え、
前記映像解析装置は、
前記ネットワークを介して前記選択領域が通知された場合、蓄積されている過去の広域カメラ映像から前記選択フレームを特定するフレーム特定部と、
前記選択フレームにおける前記選択領域から動体を検出する動体検出部と、
を備え、
前記追尾対象特定部は、前記操作体軌跡と前記動体軌跡とが一致または類似する場合、かつ、前記動体軌跡の前記選択フレームにおける位置と前記選択フレームにおける前記選択領域から検出された動体の位置とが一致する場合、当該動体を追尾対象として特定する、
請求項１に記載の監視システム。 The display control device includes:
A selection unit for selecting a frame from the wide-area camera image as a selection frame and selecting an area in the selection frame as a selection area;
The video analysis device
When the selection area is notified via the network, a frame specifying unit for specifying the selection frame from the accumulated past wide-area camera video,
A moving object detection unit for detecting a moving object from the selection area in the selection frame;
With
The tracking target specifying unit, when the operating object trajectory and the moving object trajectory are identical or similar, and the position of the moving object trajectory in the selection frame and the position of the moving object detected from the selection area in the selection frame If the two match, the moving object is identified as the tracking target.
The monitoring system according to claim 1.
請求項４に記載の監視システム。 When the frame imaging time given to the selected frame is notified, the frame specifying unit specifies a frame to which the frame imaging time is given from the accumulated past wide-area camera video as the selected frame. ,
The monitoring system according to claim 4.
請求項４に記載の監視システム。 The frame specifying unit specifies, as the selection frame, a frame to which a frame imaging time is given a predetermined time before the time when the selection area is notified from the past wide-area camera video.
The monitoring system according to claim 4.
請求項４に記載の監視システム。 The position specifying unit specifies the current position of the tracking target estimated from the position of the tracking target reflected in each of a plurality of frames of the past wide-area camera video as the latest position of the tracking target;
The monitoring system according to claim 4.
請求項４に記載の監視システム。 The position specifying unit specifies the position of the tracking target reflected in the latest frame of the past wide-area camera video as the latest position of the tracking target;
The monitoring system according to claim 4.
前記映像解析装置は、
広域カメラ映像から動体軌跡を検出する動体軌跡検出部を備え、
前記表示制御装置は、
ネットワークを介して前記広域カメラ映像を取得する映像取得部と、
前記広域カメラ映像を表示部に表示させる表示制御部と、
前記広域カメラ映像における操作体軌跡を検出する操作体軌跡検出部と、
前記操作体軌跡を通知する通知部と、を備え、
前記映像解析装置は、
前記操作体軌跡と前記動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、を備え、
前記カメラ制御装置は、
前記最新位置に応じた撮像方向を可動カメラに撮像させる、
監視システム。 In a surveillance system having a video analysis device, a display control device, and a camera control device,
The video analysis device
A moving object trajectory detection unit for detecting a moving object trajectory from a wide-area camera image is provided.
The display control device includes:
A video acquisition unit for acquiring the wide-area camera video via a network;
A display control unit for displaying the wide-area camera image on a display unit;
An operation object locus detection unit for detecting an operation object locus in the wide-area camera image;
A notification unit for notifying the operating object locus,
The video analysis device
A tracking target specifying unit for specifying the moving object as a tracking target when the operating object locus and the moving object locus are identical or similar;
A position specifying unit for specifying the latest position of the tracking target,
The camera control device includes:
Causing the movable camera to image the imaging direction according to the latest position;
Monitoring system.
前記映像解析装置は、
広域カメラ映像から動体軌跡を検出する動体軌跡検出部と、
当該動体の識別情報が付与された前記動体軌跡を記憶する記憶部と、を備え、
前記表示制御装置は、
ネットワークを介して前記広域カメラ映像を取得する映像取得部と、
前記広域カメラ映像を表示部に表示させる表示制御部と、
前記広域カメラ映像における操作体軌跡を検出する操作体軌跡検出部と、
前記操作体軌跡と前記動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する追尾対象特定部と、
前記追尾対象の識別情報を前記映像解析装置に通知する追尾対象通知部と、を備え、
前記映像解析装置は、
前記追尾対象の識別情報によって識別される前記追尾対象の最新位置を特定する位置特定部を備え、
前記カメラ制御装置は、
前記最新位置に応じた撮像方向を可動カメラに撮像させる、
監視システム。 In a surveillance system having a video analysis device, a display control device, and a camera control device,
The video analysis device
A moving object trajectory detection unit for detecting a moving object trajectory from a wide-area camera image;
A storage unit that stores the moving object trajectory to which identification information of the moving object is attached,
The display control device includes:
A video acquisition unit for acquiring the wide-area camera video via a network;
A display control unit for displaying the wide-area camera image on a display unit;
An operation object locus detection unit for detecting an operation object locus in the wide-area camera image;
A tracking target specifying unit for specifying the moving object as a tracking target when the operating object locus and the moving object locus are identical or similar;
A tracking target notification unit for notifying the video analysis device of identification information of the tracking target,
The video analysis device
A position specifying unit for specifying the latest position of the tracking target identified by the identification information of the tracking target;
The camera control device includes:
Causing the movable camera to image the imaging direction according to the latest position;
Monitoring system.
前記追尾対象の最新位置を特定する位置特定部と、を備え、
前記最新位置に応じた撮像方向が可動カメラによって撮像される、
映像解析装置。 When the operating object locus in the wide-area camera image transmitted via the network matches or resembles the moving object locus detected from the wide-area camera image, a tracking object specifying unit that specifies the moving object as a tracking object;
A position specifying unit for specifying the latest position of the tracking target,
The imaging direction corresponding to the latest position is imaged by a movable camera,
Video analysis device.
前記追尾対象の最新位置を特定することと、を含み、
前記最新位置に応じた撮像方向が可動カメラによって撮像される、
映像解析方法。 When the operating object trajectory in the wide-area camera image transmitted via the network matches or resembles the moving object trajectory detected from the wide-area camera image, identifying the moving object as a tracking target;
Identifying the latest position of the tracking target,
The imaging direction corresponding to the latest position is imaged by a movable camera,
Video analysis method.
ネットワークを介して送信された広域カメラ映像における操作体軌跡と前記広域カメラ映像から検出された動体軌跡とが一致または類似する場合、当該動体を追尾対象として特定する追尾対象特定部と、
前記追尾対象の最新位置を特定する位置特定部と、を備え、
前記最新位置に応じた撮像方向が可動カメラによって撮像される、
映像解析装置として機能させるためのプログラム。 Computer
When the operating object locus in the wide-area camera image transmitted via the network matches or resembles the moving object locus detected from the wide-area camera image, a tracking object specifying unit that specifies the moving object as a tracking object;
A position specifying unit for specifying the latest position of the tracking target,
The imaging direction corresponding to the latest position is imaged by a movable camera,
A program for functioning as a video analysis device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014249941A JP6458474B2 (en) | 2014-12-10 | 2014-12-10 | Surveillance system, video analysis apparatus, video analysis method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014249941A JP6458474B2 (en) | 2014-12-10 | 2014-12-10 | Surveillance system, video analysis apparatus, video analysis method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016111649A true JP2016111649A (en) | 2016-06-20 |
| JP6458474B2 JP6458474B2 (en) | 2019-01-30 |
Family
ID=56125061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014249941A Active JP6458474B2 (en) | 2014-12-10 | 2014-12-10 | Surveillance system, video analysis apparatus, video analysis method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6458474B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108153763A (en) * | 2016-12-05 | 2018-06-12 | 佳能株式会社 | Indexing unit and method, object images retrieval device and monitoring system |
| CN108540759A (en) * | 2017-03-01 | 2018-09-14 | 中国电信股份有限公司 | Video frequency monitoring method, device and system |
| WO2020054281A1 (en) | 2018-09-12 | 2020-03-19 | キヤノン株式会社 | Robot system, robot system control device, robot system control method, imaging device, control program, and recording medium |
| CN111340857A (en) * | 2020-02-20 | 2020-06-26 | 浙江大华技术股份有限公司 | Camera tracking control method and device |
| JP7058806B1 (en) * | 2021-02-22 | 2022-04-22 | 三菱電機株式会社 | Video monitoring equipment, video monitoring system, video monitoring method, and video monitoring program |
| CN114429605A (en) * | 2022-01-25 | 2022-05-03 | 南京杰迈视讯科技有限公司 | System for identifying, positioning and tracking dynamic random target in wide-area environment |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0918849A (en) * | 1995-07-04 | 1997-01-17 | Matsushita Electric Ind Co Ltd | Photographing device |
| JP2004289779A (en) * | 2003-03-06 | 2004-10-14 | Chuo Electronics Co Ltd | Mobile body imaging method and mobile body imaging system |
| JP2005175970A (en) * | 2003-12-11 | 2005-06-30 | Canon Inc | Imaging system |
| JP2006081125A (en) * | 2004-09-13 | 2006-03-23 | Sony Corp | Imaging system and imaging method |
-
2014
- 2014-12-10 JP JP2014249941A patent/JP6458474B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0918849A (en) * | 1995-07-04 | 1997-01-17 | Matsushita Electric Ind Co Ltd | Photographing device |
| JP2004289779A (en) * | 2003-03-06 | 2004-10-14 | Chuo Electronics Co Ltd | Mobile body imaging method and mobile body imaging system |
| JP2005175970A (en) * | 2003-12-11 | 2005-06-30 | Canon Inc | Imaging system |
| JP2006081125A (en) * | 2004-09-13 | 2006-03-23 | Sony Corp | Imaging system and imaging method |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108153763A (en) * | 2016-12-05 | 2018-06-12 | 佳能株式会社 | Indexing unit and method, object images retrieval device and monitoring system |
| CN108153763B (en) * | 2016-12-05 | 2023-11-24 | 佳能株式会社 | Indexing device and method, object image retrieval device and monitoring system |
| CN108540759A (en) * | 2017-03-01 | 2018-09-14 | 中国电信股份有限公司 | Video frequency monitoring method, device and system |
| CN108540759B (en) * | 2017-03-01 | 2021-04-09 | 中国电信股份有限公司 | Video monitoring method, device and system |
| WO2020054281A1 (en) | 2018-09-12 | 2020-03-19 | キヤノン株式会社 | Robot system, robot system control device, robot system control method, imaging device, control program, and recording medium |
| US11992960B2 (en) | 2018-09-12 | 2024-05-28 | Canon Kabushiki Kaisha | Robot system, control apparatus of robot system, control method of robot system, imaging apparatus, and storage medium |
| CN111340857A (en) * | 2020-02-20 | 2020-06-26 | 浙江大华技术股份有限公司 | Camera tracking control method and device |
| CN111340857B (en) * | 2020-02-20 | 2023-09-19 | 浙江大华技术股份有限公司 | Tracking control method and device for camera |
| JP7058806B1 (en) * | 2021-02-22 | 2022-04-22 | 三菱電機株式会社 | Video monitoring equipment, video monitoring system, video monitoring method, and video monitoring program |
| CN114429605A (en) * | 2022-01-25 | 2022-05-03 | 南京杰迈视讯科技有限公司 | System for identifying, positioning and tracking dynamic random target in wide-area environment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6458474B2 (en) | 2019-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6458474B2 (en) | Surveillance system, video analysis apparatus, video analysis method and program | |
| JP6413530B2 (en) | Surveillance system, video analysis apparatus, video analysis method and program | |
| JP6696615B2 (en) | Monitoring system, monitoring method, and recording medium storing monitoring program | |
| EP2954499B1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
| US20170091998A1 (en) | Fire/Security Service System with Augmented Reality | |
| US10192414B2 (en) | System and method for overlap detection in surveillance camera network | |
| US11127211B2 (en) | Plant management system, plant management method, plant management apparatus, and plant management program | |
| GB2553991A (en) | Tracking support apparatus, tracking support system, and tracking support method | |
| KR102219598B1 (en) | Fire monitoring system for field equipment | |
| KR101933153B1 (en) | Control Image Relocation Method and Apparatus according to the direction of movement of the Object of Interest | |
| KR101005568B1 (en) | Intelligent security system | |
| JP6032283B2 (en) | Surveillance camera management device, surveillance camera management method, and program | |
| CN106210608A (en) | The methods, devices and systems of the dynamic front cover in position, control point are realized based on mobile detection | |
| KR101404792B1 (en) | Active monitoring system and method using mobile terminal | |
| JP2014139745A (en) | Equipment management system, equipment management device, equipment management method and program | |
| KR101250956B1 (en) | An automatic system for monitoring | |
| JP2011145730A (en) | Monitoring screen display control apparatus | |
| KR20180099098A (en) | Fusion Type Image Monitoring System Camera with Movement Tracking Function of Shooting Target | |
| KR102107137B1 (en) | Method and Apparatus for Detecting Event by Using Pan-Tilt-Zoom Camera | |
| JP7176868B2 (en) | monitoring device | |
| JP7146416B2 (en) | Information processing device, information processing system, information processing method, and program | |
| KR101060414B1 (en) | Monitoring system and mathod for the same | |
| KR101445361B1 (en) | Site Monitoring System | |
| JP2016149667A (en) | Control device, control method, and program | |
| KR101434878B1 (en) | Monitering camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170815 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180619 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180814 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6458474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |