WO2014199505A1 - 映像監視システム、監視装置 - Google Patents

映像監視システム、監視装置 Download PDF

Info

Publication number
WO2014199505A1
WO2014199505A1 PCT/JP2013/066418 JP2013066418W WO2014199505A1 WO 2014199505 A1 WO2014199505 A1 WO 2014199505A1 JP 2013066418 W JP2013066418 W JP 2013066418W WO 2014199505 A1 WO2014199505 A1 WO 2014199505A1
Authority
WO
WIPO (PCT)
Prior art keywords
conversion
feature amount
unit
virtual
camera
Prior art date
Application number
PCT/JP2013/066418
Other languages
English (en)
French (fr)
Inventor
健一 米司
大輔 松原
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2015522362A priority Critical patent/JP6182607B2/ja
Priority to US14/897,492 priority patent/US10491863B2/en
Priority to DK13886651.2T priority patent/DK3010229T3/en
Priority to EP13886651.2A priority patent/EP3010229B1/en
Priority to CN201380077304.1A priority patent/CN105284108B/zh
Priority to PCT/JP2013/066418 priority patent/WO2014199505A1/ja
Publication of WO2014199505A1 publication Critical patent/WO2014199505A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a technique for monitoring an object to be monitored using video.
  • Patent Document 1 describes a monitoring system using a plurality of monitoring cameras.
  • motion information of a monitoring target is extracted, and the extracted motion information is compared among a plurality of cameras to obtain monitoring target information.
  • a surveillance system including a plurality of surveillance cameras
  • the installation conditions of each camera are different, for example, when a camera installed horizontally with respect to the ground and a camera installed facing the ground are mixed, Therefore, even if the same movement is made, different movement information is obtained, and it is difficult to compare movement information between cameras.
  • Patent Document 1 the motion information obtained from a certain camera is converted into the coordinate system of the camera to be compared and then compared.
  • the position information is converted into the coordinate position of the comparison target camera and compared, the comparison cannot be made unless the visual fields of the cameras to be compared overlap.
  • the video monitoring system receives video from a plurality of cameras, extracts a motion feature amount from a plurality of frames constituting the video, a storage unit that accumulates extraction results from the extraction unit, A conversion unit that converts the extracted motion feature amount; and an analysis unit that analyzes the converted motion feature amount.
  • the conversion unit holds a virtual coordinate axis that is different from the coordinate axes of a plurality of cameras.
  • the feature amount is converted by calculating a virtual viewpoint in the image.
  • the video monitoring apparatus it is possible to suitably analyze the motion information of the monitoring target obtained from a plurality of monitoring cameras having different installation conditions.
  • FIG. 1 is a schematic diagram of a monitoring system according to Embodiment 1.
  • FIG. 1 is a functional block diagram of a video monitoring device 200 provided in a monitoring system according to Embodiment 1.
  • FIG. FIG. 3 is a functional block diagram illustrating a configuration example of a virtual viewpoint generation unit 203 and a conversion method determination unit 204.
  • 6 is a diagram illustrating a processing example of a virtual viewpoint generation unit 203.
  • FIG. 5 is a functional block diagram illustrating a configuration example of a feature amount conversion unit 207.
  • FIG. 6 is a processing flow diagram of a virtual viewpoint generation unit 203.
  • FIG. FIG. 10 is a process flow diagram of a feature quantity conversion unit 207. It is a figure which shows the structural example of the video monitoring apparatus which concerns on Example 1.
  • FIG. 10 is a process flow diagram of a feature quantity conversion unit 207. It is a figure which shows the structural example of the video monitoring apparatus which concerns on Example 1.
  • FIG. 10 is a figure which
  • FIG. 1 is a diagram illustrating a configuration example of a monitoring system according to Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of a virtual installation state information setting client 907.
  • FIG. 6 is a functional block diagram of a video monitoring apparatus 200 according to Embodiment 2.
  • FIG. 10 is a diagram illustrating a configuration example of a video surveillance device according to a third embodiment.
  • FIG. 10 is a diagram illustrating a processing example of a virtual viewpoint generation unit 203 according to Embodiment 4.
  • FIG. 1 is a schematic diagram of a monitoring system according to Embodiment 1 of the present invention.
  • a monitoring target 101 existing in a monitoring area is monitored by a plurality of monitoring cameras (102, 103).
  • the motion feature quantity (104, 105) to be monitored is extracted from the video obtained from each surveillance camera by image processing.
  • the motion feature amount is a feature amount that can express the target motion amount. For example, a motion vector or the like in which the movement amounts of coordinates at which the monitoring target moves within the screen within a certain period of time is used.
  • a method such as that described in Non-Patent Document 2 may be used to calculate the target movement amount.
  • the motion feature values (104, 105) obtained from each camera are difficult to compare because the camera installation state is different.
  • the camera installation state includes, for example, the installation height of the camera from the ground, the installation angle with respect to the ground, the direction of the camera (the direction of the line of sight), the angle of view of the camera, the focal length of the camera, and the like. Therefore, a virtual installation state 106 unified for the entire monitoring system is given, and a virtual viewpoint (107, 108) in which the camera installation state matches the camera installation state of the virtual installation state 106 is set for each camera. . According to each set virtual viewpoint, a conversion method from the image coordinate system of each camera to the coordinate system of each virtual viewpoint is determined.
  • the motion feature values (104, 105) are converted to obtain converted motion feature values (109, 110).
  • a coordinate system conversion method for example, a method of converting a coordinate position of a motion vector by coordinate conversion using a rotation matrix may be used. Since the converted motion feature values (109, 110) are the motion feature values in the same installation state in all the cameras, comparison is easy.
  • the obtained motion feature quantities (109, 110) are stored in the database 111 or the like and used for analysis.
  • FIG. 2 is a functional block diagram of the video monitoring apparatus 200 provided in the monitoring system according to the first embodiment.
  • the video monitoring apparatus 200 includes a virtual viewpoint generation unit 203, a conversion method determination unit 204, a motion feature amount extraction unit 206, a feature amount conversion unit 207, a feature amount analysis unit 208, and an analysis result presentation unit 209.
  • the virtual viewpoint generation unit 203 receives virtual installation state information 201 and a plurality of monitoring camera installation information given in advance.
  • the virtual viewpoint generation unit 203 generates virtual viewpoint information 210 for each monitoring camera based on the received virtual installation state information 201 and the plurality of monitoring camera installation information.
  • the generated virtual viewpoint information 210 is input to the conversion method determination unit 204.
  • a conversion method determination unit 204 determines a feature amount conversion method based on the input virtual viewpoint information 210.
  • the determined conversion method 211 is input to the feature amount conversion unit 207.
  • the motion feature amount extraction unit 206 receives images 205 of a plurality of surveillance cameras.
  • the motion feature amount extraction unit 206 performs image processing on the received video 205 from the monitoring camera and extracts a motion feature amount to be monitored.
  • the method of Non-Patent Document 2 or the like may be used for extracting the motion feature amount.
  • the motion feature amount includes position information on the image from which the feature amount is extracted and a feature amount representing the motion.
  • As the feature amount representing the motion for example, there is one in which movement amounts (two-dimensional vectors) on the image coordinates are arranged in the time direction.
  • the extracted motion feature quantity is input to the feature quantity conversion unit 207.
  • the feature quantity conversion unit 208 receives the motion feature quantity and the feature quantity conversion method 211, and converts the motion feature quantity according to the feature quantity conversion method.
  • the converted motion feature quantity is input to the feature quantity analysis unit 208.
  • the feature amount analysis unit 208 analyzes the converted motion feature amount.
  • the analyzed result is input to the analysis result presentation unit 209.
  • the analysis result presentation unit 209 converts the analysis result into a state that can be presented to the monitor and presents it.
  • the feature quantity analysis unit 208 for example, a process of searching for objects that are moving in the same manner from past motion feature quantities and rearranging them in a similar order can be considered.
  • the analysis result presentation unit 209 performs a process of listing the date / time, place, etc., of the extracted motion feature amount in order and displaying the list on the display terminal.
  • the process of the feature amount analysis unit 208 may be another analysis process as long as it is an analysis process using a motion feature amount.
  • the presentation method of the analysis result presentation unit 209 may be another presentation method as long as the analysis result in the feature amount analysis unit 208 can be presented.
  • FIG. 3 is a functional block diagram illustrating a configuration example of the virtual viewpoint generation unit 203 and the conversion method determination unit 204.
  • the virtual viewpoint generation unit 203 includes a camera A viewpoint generation unit 2031 and a camera B viewpoint generation unit 2032.
  • the camera A viewpoint generation unit 2031 calculates the camera A virtual viewpoint 306 using the virtual installation state information 301 and the camera A installation state 2033. In the same way.
  • the camera B viewpoint generation unit 2032 calculates the camera B virtual viewpoint 307 using the virtual installation state information 301 and the camera B installation state 2034.
  • the conversion method determination unit 204 includes a camera A coordinate conversion parameter determination unit 2041 and a camera B coordinate conversion parameter determination unit 2042.
  • the camera A coordinate conversion parameter determination unit 2041 calculates a coordinate conversion parameter from the camera A 304 to the camera A virtual viewpoint 306 using the camera A virtual viewpoint 306 generated by the camera A viewpoint generation unit 2031.
  • This coordinate transformation parameter is, for example, each coefficient of a general coordinate transformation matrix.
  • Each coefficient of the coordinate transformation matrix is simply calculated using the translational movement amount from the installation position of the camera A304 to the virtual viewpoint 306 and the rotation amount from the installation angle of the camera A304 to the installation angle of the virtual installation state information 301. be able to. Further, the angle of view and focal length of the camera may be included in the virtual installation state.
  • each coefficient of the coordinate transformation matrix considering the angle of view and focal length of the camera may be calculated.
  • the camera B coordinate conversion parameter determination unit 2042 calculates a coordinate conversion parameter from the camera B 305 to the camera B virtual viewpoint 307.
  • the coordinate conversion parameters obtained as described above are input to the feature amount conversion unit 207.
  • FIG. 4 is a diagram illustrating an example of a virtual viewpoint calculation method in the virtual viewpoint generation unit 203.
  • a difference between the virtual viewpoint and the installation position of the camera 401 is a translational movement amount 406 from the camera 401 to the virtual viewpoint 405.
  • the intersection 402 between the camera's line of sight and the ground from the virtual viewpoint 405 is converted to coincide with the intersection 402 between the line of sight of the original camera 401 and the ground.
  • the motion feature quantity of the object shown near the center of the image of the original camera 401 is in the vicinity of the center of the image even in the virtual viewpoint, which is advantageous in that it can be easily handled in later analysis.
  • the direction of the camera (the direction of the line of sight) is not particularly specified, but the virtual viewpoint may be calculated so that the camera direction is specified as the virtual installation state and the directions match.
  • FIG. 5 is a functional block diagram illustrating a configuration example of the feature amount conversion unit 207.
  • the feature amount conversion unit 207 includes a three-dimensional position estimation unit 2071 and a coordinate conversion unit 2072.
  • the feature amount is composed of the two-dimensional position on the image coordinates from which the feature amount is extracted and the feature amount representing the motion as described above.
  • the three-dimensional position estimation unit 2071 converts the two-dimensional position on the image coordinates from which the feature amount is extracted into a three-dimensional position in the real space. This conversion can be easily calculated if the angle of view of the camera, the focal length, the height from the ground, the angle of the camera with respect to the ground, and the height of the feature quantity in real space are known.
  • the angle of view of the camera, the focal length, the height from the ground, and the angle of the camera with respect to the ground are set in advance.
  • the coordinate conversion unit 2072 performs coordinate conversion according to the conversion method 201 obtained by the conversion method determination unit 204.
  • coordinate conversion using a matrix that converts a three-dimensional position in real space into a two-dimensional coordinate position of a virtual image viewed from a virtual viewpoint is used as the conversion method 201.
  • the three-dimensional motion vector 502 converted into a three-dimensional position is converted into a two-dimensional motion vector 503 viewed from a virtual viewpoint.
  • the original feature amount is converted into the feature amount viewed from the virtual viewpoint.
  • the conversion method in the case where the feature quantity is a two-dimensional motion vector is shown.
  • the feature quantity is not given by a two-dimensional vector of coordinate positions on the image, such as a histogram of the motion direction.
  • a conversion method for example, a method of converting a histogram using a conversion table linked to height information of the feature amount from the ground may be used.
  • FIG. 6 is a process flow diagram of the virtual viewpoint generation process in the virtual viewpoint generation unit 203.
  • Figure 6 Steps S601 to S602
  • the virtual viewpoint generation unit 203 performs steps S603 to S604 described below for all cameras (S602).
  • Figure 6 Steps S603 to S604
  • the virtual viewpoint generation unit 203 calculates the intersection of the camera's line of sight and the ground from the monitoring camera installation information 202 (S603).
  • a virtual viewpoint position is calculated using the obtained intersection (S604).
  • FIG. 7 is a process flow diagram of the feature amount conversion processing in the feature amount conversion unit 207.
  • a conversion method is acquired (S701).
  • a feature amount is acquired (S702).
  • the three-dimensional position of the feature amount is estimated (S703).
  • the feature value is converted (S704), and the feature value conversion process is terminated.
  • the monitoring camera setting information 814 and the virtual installation state information 815 are set through the user interface 804 and stored in the recording device 802.
  • the virtual viewpoint generation process 808 calls the monitoring camera setting information 814 and the virtual installation state information 815 to generate a virtual viewpoint, and subsequently executes the conversion method determination process 809.
  • the conversion method determination process 809 determines the feature amount conversion method 816 and stores it in the recording device 802.
  • the motion feature amount extraction processing 810 an image is read from the monitoring camera 806 or the recording device 807, a motion feature amount is extracted, and is stored in the recording device 802 as a pre-conversion feature amount 817.
  • the feature amount conversion processing 811 reads the feature amount conversion method 816 and the pre-conversion feature amount 817, converts the feature amount, and stores the converted feature amount 818 in the recording device.
  • a feature amount analysis process 812 reads the converted feature amount 818 and performs a feature amount analysis process.
  • analysis result presentation video generation processing 813 is executed.
  • the analysis result of the feature amount analysis processing 812 is converted into a video format that can be displayed on the display device 805, and is sent to the display device 805.
  • the display device 805 displays the transmitted analysis result video.
  • FIG. 9 is a diagram illustrating a configuration example of the monitoring system according to the first embodiment.
  • the video monitoring apparatus 200 can be configured as software in which the video analysis server 901, the monitoring monitor 902, and each functional unit are installed.
  • the monitoring camera group 903 is connected to the video analysis server 901 and the recording device 905 via the network 904.
  • the monitor monitor 902 is a display device that displays the analysis result of the motion feature amount, and is connected to the video analysis server 901 via the network 906.
  • the virtual installation state information setting client 907 is a user interface 804 capable of setting virtual installation state information 908 for determining a virtual viewpoint, and is connected to the video analysis server 901 via the network 909.
  • the video from the monitoring camera group 903 and the video from the recording device 905 are input to the video analysis server 901 through the network 904.
  • the virtual installation state information set by the virtual installation state setting client 907 is input to the video analysis server 901 through the network 909.
  • the video analysis server 901 performs the processing described with reference to FIGS. 2 to 5 and accumulates the converted motion feature quantity 818.
  • the accumulated post-conversion motion feature quantity 818 is input to the monitor monitor 902 through the network 906, and after performing analysis processing, the result is displayed on the display device 805.
  • the feature amount extraction processing is performed in the video analysis server 901, but may be performed in each camera of the surveillance camera group. Further, although the feature amount analysis processing is performed in the monitor monitor 902, it may be performed in the video analysis server 901 and the results may be accumulated. Further, although the virtual installation state information setting 908 is performed in the virtual installation state information setting client 907, it may be performed by directly connecting an input / output terminal to the video analysis server 901.
  • FIG. 10 is a diagram showing an example of a virtual installation state information setting GUI in the virtual installation state information setting client 907.
  • the virtual installation state information setting GUI is provided as an input window such as 1001.
  • This GUI includes input boxes (1002, 1003) in which virtual installation state information can be input.
  • the example of FIG. 10 shows an example in which the height and angle can be set.
  • a determination button 1004 for reflecting the input value is provided, and the virtual installation state used in the monitoring system is determined by pressing this button.
  • a window 1005 illustrating the current virtual installation state is provided. This example is an example, and the virtual installation state information that can be set may be increased or decreased as appropriate, or the current state may be displayed in text instead of the window 1005, or may be eliminated.
  • the virtual installation state is not limited to a method that can be freely input as in this example, and may be set by selecting from several candidates, or by selecting one from already installed cameras,
  • the camera installation state may be a virtual installation state.
  • the monitoring system described in the first embodiment receives an image from a plurality of cameras, extracts an extraction unit that extracts motion feature amounts from a plurality of frames constituting the image, and extracts an extraction result from the extraction unit.
  • a storage unit that accumulates, a conversion unit that converts the extracted motion feature value, and an analysis unit that analyzes the converted motion feature value, wherein the conversion unit has a virtual coordinate axis different from the coordinate axes of the plurality of cameras. It is characterized in that the feature amount is converted by holding and calculating a virtual viewpoint in the virtual coordinate axis system.
  • This feature makes it possible to properly compare motion information extracted from multiple surveillance cameras with different installation conditions.
  • FIG. 11 is a functional block diagram of the video monitoring apparatus 200 according to the second embodiment of the present invention.
  • the second embodiment an example in which there are a plurality of analysis processes in the first embodiment will be described. Since the other configuration is the same as that of the first embodiment, the following description will focus on the differences.
  • Fig. 11 shows an example when there are multiple analysis processes in the monitoring device shown in Fig. 2.
  • a case where there are two types of analysis processing will be described.
  • the virtual installation state information 201 a virtual installation state necessary for each analysis process (1106, 1108) is set in advance and input to the virtual viewpoint generation unit A1101 and the virtual viewpoint generation unit B1102, respectively.
  • the virtual viewpoint generation unit A1101 and the virtual viewpoint generation unit B1103 differ only in the virtual installation state provided, and the processing contents are the same as those of the virtual viewpoint generation unit 203 described in the first embodiment.
  • the conversion method A determination unit 1102 and the conversion method B determination unit 1104 determine the feature amount conversion methods used by the feature amount conversion unit A 1105 and the feature amount conversion unit B 1107, respectively. .
  • the feature amount conversion unit A 1105 and the feature amount conversion unit B 1107 convert the motion feature amount extracted by the motion feature amount extraction unit 206 according to the determined conversion method.
  • the feature amount analysis unit A1106 and the feature amount analysis unit B1108 perform analysis processing using the converted feature amounts.
  • a control signal 1109 is input to the presentation content selection unit 1110.
  • This control signal 1109 is a control signal for designating an analysis result desired to be presented by the analysis result presentation unit 209. According to this control signal, an analysis result input to the analysis result presentation unit 209 is selected from the analysis results of the feature amount analysis unit A and the feature amount analysis unit B.
  • the virtual viewpoint viewed from directly above is used in the feature amount conversion unit A1105.
  • the feature value is converted and analyzed by the feature value analysis unit A1106.
  • the feature value conversion unit B1107 converts the feature value using the virtual viewpoint viewed from the side, and the feature value analysis unit B1108 performs the analysis.
  • the control signal 1109 is given a signal for outputting the analysis result of the feature quantity analysis unit A1106, and when viewing the analysis result from the viewpoint seen from the side, the control signal 1109 is given. May be provided with a signal for outputting the analysis result of the feature quantity analysis unit B1108.
  • One converted feature value may be shared by a plurality of analysis processes.
  • the analysis result can be presented more suitably.
  • FIG. 12 is a configuration example of the monitoring device 800 according to the third embodiment of the present invention.
  • an arithmetic processing unit 801 and a recording unit 802 are configured in the recording device 1201. Since the other configuration is the same as that of the first embodiment, the following description will focus on the differences.
  • Video acquisition / recording processing 1202 acquires video from the monitoring camera 806 through the input / output unit 803. Next, the acquired video is converted into a format that can be stored in the recording unit 802 and stored as a recorded video 1203. In the motion feature amount extraction process, a video to be extracted is acquired from the recorded video 1203, and the motion feature amount extraction process is performed.
  • the user interface 804 and the display device 805 are outside the recording device 1201 is shown, but the user interface 804 and the display device 805 may be configured in the recording device.
  • FIG. 13 is a processing example of the virtual viewpoint generation unit 203 according to the fourth embodiment of the present invention.
  • the fourth embodiment shows an example of a virtual viewpoint generation method when the monitoring target area of the monitoring camera 1305 is in a special environment such as an outdoor road 1301. Since the other configuration is the same as that of the first embodiment, the following description will focus on the differences.
  • road position information 1303 is acquired from a map database or the like, and a virtual viewpoint 1304 is configured using the road information 1303.
  • the position of the white line 1302 in the road 1301 is extracted from the road position information 1303, and the virtual viewpoint is determined so that the white line 1302 is the center of the line of sight of the virtual viewpoint.
  • an intersection 1306 between the camera's line of sight and the ground is obtained from the installation information of each monitoring camera 1305.
  • a point 1307 on the white line 1302 closest to the obtained intersection 1306 is obtained.
  • the height matches the height 302 from the ground in the virtual installation state 301 and the angle matches the angle 303 from the ground in the virtual installation state 301 Is a virtual viewpoint 1304.
  • the difference between the installation positions of the virtual viewpoint 1304 and the camera 1305 is the translational movement amount 1308 from the camera 1305 to the virtual viewpoint 1304.
  • the position information of the white line 1302 is extracted from the road position information 1303 here, it may be automatically extracted from the monitoring video by image processing using Hough transform or the like.
  • the feature values obtained from all cameras are converted into a form associated with the road, so that the characteristics of the analysis process Easy to handle quantity.
  • the present invention is not limited to the embodiment described above, and includes various modifications.
  • the above embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment.
  • the structure of another Example can also be added to the structure of a certain Example.
  • another configuration can be added, deleted, or replaced.
  • the above components, functions, processing units, processing means, etc. may be realized in hardware by designing some or all of them, for example, with an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • 101 Monitoring target 102: surveillance camera, 104: Movement feature amount, 106: Virtual installation status, 107: Virtual perspective, 109: Motion feature after conversion, 111: Database, 200: Video surveillance device, 201: Virtual installation status information, 202: Monitoring camera installation information, 203: Virtual viewpoint generator, 204: Conversion method determination unit 205: Video from surveillance camera, 206: Motion feature quantity extraction unit, 207: Feature amount conversion unit, 208: Feature amount analysis unit, 209: Analysis result presentation unit, 210: Virtual viewpoint information, 211: Conversion method, 801: arithmetic processing unit, 802: recording device, 803: I / O device, 804: user interface, 805: display device, 806: surveillance camera, 807: Recording device, 901: Video analysis server, 902: Monitoring monitor, 904, 906, 909: network, 907: Virtual installation state information setting client, 1001: Virtual installation status input window.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

　カメラの設置条件が違う場合においても、複数の監視カメラから得られる動き情報を比較する事が可能な映像監視技術を提供する　本発明に係る映像監視システムは、複数のカメラからの映像を受信し、映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、抽出部からの抽出結果を蓄積する記憶部と、抽出した動き特徴量を変換する変換部と、変換後の動き特徴量を解析する解析部と、を有し、変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする。

Description

映像監視システム、監視装置
　本本発明は、映像を用いて監視対象を監視する技術に関する。
　近年、凶悪犯罪が増加し、セキュリティの意識が向上している。これに伴い、店舗、空港などの人が集まる場所に、多くの監視カメラが設置されている。これらの監視カメラによって撮影された映像情報は、監視レコーダなどの蓄積装置に格納され、必要に応じて閲覧される。
　下記特許文献１には、複数の監視カメラを用いた監視システムが記載されている。この文献においては、監視対象の動き情報を抽出し、抽出した動き情報を複数のカメラ間で比較し、監視対象の情報を得る。
特開2011-193187号公報
Michalis Raptis and Stefano Soatto， "Tracklet Descriptors for Action Modeling and Video Analysis"， In Proceedings of the European Conference on Computer Vision， September 2010． S． Baker and I． Matthews " Lucas-kande 20 years on: A unifying framework"， International Journal of Computer Vision， vol． 53， no． 3， 2004．。
　複数の監視カメラを備える監視システムにおいて、複数の監視カメラで得られた動き情報をカメラ間で比較する場合、各カメラの設置条件の違いを考慮する必要がある。例えば、複数の監視カメラから動き情報を抽出し、同じ動きをしている人物を探すシステムを構築する場合、複数のカメラが同じ条件で設置されている場合には、上記非特許文献１等の方式により実現できる。しかし、各カメラの設置条件が違い、例えば地面に対して水平に設置されているカメラと、地面に向けて設置されているカメラ等が混在している場合においては、各カメラで対象の映り方が違うため、同じ動きをしても違う動き情報となってしまい、カメラ間での動き情報の比較が困難である。
　この課題に対し、上記特許文献１ではあるカメラから得られる動き情報を、比較対象のカメラの座標系に変換した後比較を行っている。しかしこの方式では、位置情報を比較対象カメラの座標位置に変換して比較するため、比較するカメラの視野に重なりがなければ比較することができない。
　本発明は、上記のような課題を解決するためになされたものであり、カメラの設置条件が違う場合においても、複数の監視カメラから得られる動き情報を比較する事が可能な映像監視技術を提供することを目的とする。
　本発明に係る映像監視システムは、複数のカメラからの映像を受信し、映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、抽出部からの抽出結果を蓄積する記憶部と、抽出した動き特徴量を変換する変換部と、変換後の動き特徴量を解析する解析部と、を有し、変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする。
　本発明に係る映像監視装置によれば、設置条件の違う複数の監視カメラから得られる監視対象の動き情報を好適に分析することができる。
実施例１に係る監視システムの模式図である。 実施例１に係る監視システムが備える映像監視装置200の機能ブロック図である。 仮想視点生成部203と変換方法決定部204の構成例を示す機能ブロック図である。 仮想視点生成部203の処理例を示す図である。 特徴量変換部207の構成例を示す機能ブロック図である。 仮想視点生成部203の処理フロー図である。 特徴量変換部207の処理フロー図である。 実施例１に係る映像監視装の構成例を示す図である。 実施例１に係る監視システムの構成例を示す図である。 仮想設置状態情報設定クライアント907の一例を示す図である。 実施例２に係る映像監視装置200の機能ブロック図である。 実施例３に係る映像監視装の構成例を示す図である。 実施例４に係る仮想視点生成部203の処理例を示す図である。
　図1は本発明の実施例１に係る監視システムの模式図である。図1において、監視領域内に存在する監視対象101は複数の監視カメラ(102、103)により監視されている。
　各監視カメラから得られた映像から画像処理により監視対象の動き特徴量(104、105)を抽出する。動き特徴量とは、対象の動き量を表現可能な特徴量である。例えば、ある一定時間内において、監視対象が画面内で移動した座標の移動量を並べた、動きベクトル等を用いる。また、対象の移動量の算出には非特許文献2に記載されている様な手法等を用いればよい。
　それぞれのカメラから得られた動き特徴量(104、105)はカメラの設置状態が違うため、比較困難である。ここで、カメラの設置状態とは例えば、カメラの地面からの設置高さ、地面に対する設置角度、カメラの向き(視線の方角)、カメラの画角、カメラの焦点距離等である。そこで、監視システム全体で統一した仮想設置状態106を与え、それぞれのカメラに対して、カメラの設置状態が、仮想設置状態106のカメラの設置状態と一致する仮想視点(107、108)を設定する。設定された各仮想視点に従い、各カメラの画像座標系から各仮想視点の座標系への変換方法をそれぞれ決定する。この変換方法に従い、動き特徴量(104、105)を変換し、変換された動き特徴量(109、110)を得る。座標系の変換方法は、例えば動きベクトルの座標位置を、回転行列を用いた座標変換によって変換する方法等を用いればよい。変換された動き特徴量(109、110)は、全てのカメラで同じ設置状態の動き特徴量となるため、比較が容易になる。得られた動き特徴量(109、110)はデータベース111等に保存し、分析に用いる。
　図2は本実施例１に係る監視システムが備える映像監視装置200の機能ブロック図である。映像監視装置200は、仮想視点生成部203、変換方法決定部204、動き特徴量抽出部206、特徴量変換部207、特徴量解析部208、解析結果提示部209を備える。
　仮想視点生成部203は予め与えられた仮想設置状態情報201と複数台の監視カメラ設置情報を受け取る。仮想視点生成部203では受け取った仮想設置状態情報201と複数台の監視カメラ設置情報をもとに、各監視カメラに対する仮想視点情報210を生成する。生成された仮想視点情報210は変換方法決定部204に入力される。変換方法決定部204では入力された仮想視点情報210をもとに、特徴量の変換方法を決定する。決定した変換方法211は特徴量変換部207に入力される。
　動き特徴量抽出部206は、複数台の監視カメラの映像205を受け取る。動き特徴量抽出部206では、受け取った監視カメラからの映像205を画像処理し、監視対象の動き特徴量を抽出する。動き特徴量の抽出には非特許文献2の方法などを用いればよい。動き特徴量は、特徴量を抽出した画像上の位置情報と、動きを表す特徴量から構成される。動きを表す特徴量としては、例えば画像座標上の移動量(２次元ベクトル)を時間方向に並べたもの等がある。抽出された動き特徴量は特徴量変換部207に入力される。特徴量変換部208は、動き特徴量と特徴量の変換方法211を受け取り、特徴量の変換方法に従い、動き特徴量を変換する。変換された動き特徴量は特徴量解析部208に入力される。
　特徴量解析部208では変換された動き特徴量を解析する。解析された結果は解析結果提示部209に入力される。解析結果提示部209では、解析結果を監視者に提示可能な状態に変換し、提示する。特徴量解析部208の例としては、例えば同様の動きをしている対象を、過去の動き特徴量の中から探し出し、似ている順番に並べ替える処理等が考えられる。この場合、解析結果提示部209では、探し出した動き特徴量を抽出した日時や場所などを順番にリスト化し、ディスプレイ端末に表示する処理等を行う。ここで、特徴量解析部208の処理は動き特徴量を用いた解析処理であれば、別の解析処理でもよい。また解析結果提示部209の提示方法も、特徴量解析部208における解析結果を提示できれば、別の提示方法でもよい。
　図3は、仮想視点生成部203と変換方法決定部204の構成例を示す機能ブロック図である。この例ではカメラが２つであった場合の例であり、それぞれカメラＡ304、カメラＢ305とする。
　まず、予め仮想設置状態情報301を与える。ここでは地面からの高さ302と地面に対する角度303を仮想設置状態として与える例について示す。仮想視点生成部203は、カメラＡ用視点生成部2031とカメラＢ用視点生成部2032を備える。カメラＡ用視点生成部2031では仮想設置状態情報301とカメラＡ設置状態2033を用いてカメラＡ用仮想視点306を算出する。同様にして。カメラＢ用視点生成部2032では仮想設置状態情報301とカメラＢ設置状態2034を用いてカメラＢ用仮想視点307を算出する。
　変換方法決定部204は、カメラＡ用座標変換パラメータ決定部2041とカメラＢ用座標変換パラメータ決定部2042を備える。カメラＡ用座標変換パラメータ決定部2041では、カメラＡ用視点生成部2031で生成したカメラＡ用仮想視点306を用いて、カメラＡ304からカメラＡ用仮想視点306への座標変換パラメータを計算する。この座標変換パラメータは、例えば一般的な座標変換行列の各係数等である。座標変換行列の各係数は、カメラＡ304の設置位置から仮想視点306への並進移動量と、カメラＡ304の設置角度から仮想設置状態情報301の設置角度への回転量を用いて、簡単に計算することができる。また、カメラの画角や焦点距離を仮想設置状態に含めてもよく、この場合にはカメラの画角や焦点距離を考慮した座標変換行列の各係数を算出してもよい。同様に、カメラＢ用座標変換パラメータ決定部2042では、カメラＢ305からカメラＢ用仮想視点307への座標変換パラメータを計算する。以上により得られた座標変換パラメータは特徴量変換部207に入力される。
　図4は、仮想視点生成部203における仮想視点の算出方法の一例を示した図である。まず、各監視カメラ401の設置情報から、カメラの視線と地面の交点402を求める。次に求めた交点402が視線の中心となる設置位置のうち、高さが仮想設置状態301の地面からの高さと一致し、角度404が仮想設置状態301の地面からの角度303と一致する位置を仮想視点405とする。この仮想視点とカメラ401の設置位置の差が、カメラ401から仮想視点405への並進移動量406となる。この例では、仮想視点405からのカメラの視線と地面の交点402が、元のカメラ401の視線と地面との交点402と一致する様に変換している。これにより、元のカメラ401の画像の中心付近に映っていた対象の動き特徴量は、仮想視点においても画像の中心付近となるため、後の分析において扱いやすいといった利点がある。この例では、カメラの向き(視線の方角)は特に指定していないが、カメラの向きを仮想設置状態として指定し、向きが合う様に仮想視点を算出してもよい。
　図5は、特徴量変換部207の構成例を示す機能ブロック図である。ここでは、動き特徴量抽出部206で抽出された動き特徴量が、画像座標に対応した２次元の動きベクトル501で表現されている場合の例を示す。特徴量変換部207は、３次元位置推定部2071と座標変換部2072を備える。
　特徴量は、前記の通り特徴量を抽出した画像座標上の２次元位置と、動きを表す特徴量から構成される。３次元位置推定部2071では、まず、特徴量を抽出した画像座標上の２次元位置を、実空間における３次元位置に変換する。この変換は、カメラの画角、焦点距離、地面からの高さ、カメラの地面に対する角度、特徴量の実空間上の高さが分かれば、容易に計算することができる。カメラの画角、焦点距離、地面からの高さ、カメラの地面に対する角度は予め設定しておく。この状態で、特徴量の実空間上の高さが分かれば、特徴量を抽出した画像座標上の２次元位置を、実空間における３次元位置に変換する事が可能となる。すなわち、特徴量の抽出位置の実空間上の高さを推定することで、抽出位置の２次元位置を、実空間における３次元位置に変換することができる。
　特徴量の高さの推定には、例えば以下の様な監視対象と地面との関係を用いて推定する方法がある。まず、人物が監視対象であった場合には、人物抽出処理等を用いて人物領域を抽出する。この抽出された人物が地面に立っていると仮定すれば、人物の足元の高さは地面の高さと一致する。さらに抽出された人物の身長をある一定値であると仮定することで、この人物領域内に含まれる特徴量の高さ情報を得る事ができる。これにより、各特徴量の抽出位置の３次元位置を推定することができる。人物抽出処理には、例えばテンプレートマッチング等の方法を用いればよい。同様にして、以上の処理を特徴量の２次元動きベクトルの各要素に行うことで、特徴量を３次元動きベクトル502に変換する。
　座標変換部2072では、変換方法決定部204で得られた変換方法201に従い、座標変換を行う。この例では、実空間における３次元位置を仮想視点から見た仮想的な画像の２次元座標位置に変換する行列を用いた座標変換を、変換方法201として用いる。この座標変換行列を用いて、３次元位置に変換された３次元動きベクトル502を、仮想視点から見た２次元の動きベクトル503に変換する。以上により、元の特徴量を仮想視点から見た特徴量に変換する。
　この例では、特徴量が２次元動きベクトルであった場合の変換方法について示したが、特徴量が動き方向のヒストグラムの様な、画像上の座標位置の２次元ベクトルで与えられていない場合には、別の変換方法が必要となる。この場合には、例えば変換方法として、特徴量の地面からの高さ情報にひも付けされた変換テーブルを用いて、ヒストグラムを変換する方法などを用いればよい。
　図6は、仮想視点生成部203における仮想視点生成処理の処理フロー図である。以下、図6の各ステップについて説明する。
（図6：ステップS601～S602）
　仮想視点生成部203は、仮想設置状態情報201が設定されると(S601)、全てのカメラについて以下に説明するステップS603～S604を実施する（S602）。
（図6：ステップS603～S604）
　仮想視点生成部203は、監視カメラの設置情報202からカメラの視線と地面の交点を算出する(S603)。次に、得られた交点を用いて仮想視点位置を算出する(S604)。
図7は、特徴量変換部207における特徴量変換処理の処理フロー図である。特徴量変換処理では、最初に変換方法を取得する(S701)。次に、特徴量を取得する(S702)。次に、特徴量の3次元位置を推定する(S703)。次に、(S701)にて取得した変換方法に基づき、特徴量を変換し(S704)、特徴量変換処理を終了する。
　図8は、本実施例１に係る監視装置800の構成例である。監視装置800は演算処理装置801と記録装置802と入出力装置803を備える。また演算処理装置801と記録装置802は入出力装置803を通じて、ユーザインターフェース804と表示装置805と監視カメラ806と録画装置807と接続されている。演算処理装置801では記録装置802に保存されている処理命令群819から必要な処理を呼び出して実行する。仮想視点生成処理808、変換方法決定処理809、動き特徴量抽出処理810、特徴量変換処理811、特徴量解析処理812はそれぞれ、図2中の仮想視点生成部203、変換方法決定部204、動き特徴量抽出部206、特徴量変換部207、特徴量解析部208に対応した処理を実行する。監視カメラ設定情報814と仮想設置状態情報815はユーザインターフェース804を通して設定され、記録装置802に保存される。仮想視点生成処理808は監視カメラ設定情報814と仮想設置状態情報815を呼び出し、仮想視点を生成し、続いて変換方法決定処理809を実行する。変換方法決定処理809は特徴量変換方法816を決定し、記録装置802に保存する。動き特徴量抽出処理810では監視カメラ806もしくは録画装置807から画像を読み出し、動き特徴量を抽出し、変換前特徴量817として記録装置802に保存する。特徴量変換処理811は、特徴量変換方法816と変換前特徴量817を読み出し、特徴量を変換し、変換後特徴量818として記録装置に保存する。特徴量解析処理812は変換後特徴量818を読み出し、特徴量解析処理を行う。次に解析結果提示映像生成処理813を実行する。解析結果提示映像生成処理813では、特徴量解析処理812の解析結果を表示装置805で表示可能な映像形式に変換し、表示装置805に送る。表示装置805では送られてきた解析結果映像を表示する。
　図9は本実施例１に係る監視システムの構成例を示す図である。映像監視装置200は映像解析サーバー901及び監視モニター902及び各機能部を実装したソフトウェアとして構成することができる。監視カメラ群903はネットワーク904を介して映像解析サーバー901と録画装置905に接続される。監視モニター902は動き特徴量の解析結果を表示する表示装置であり、ネットワーク906を介して映像解析サーバー901に接続される。仮想設置状態情報設定クライアント907は仮想視点を決定するための仮想設置状態情報設定908が可能なユーザインターフェース804であり、ネットワーク909を介して映像解析サーバー901に接続される。監視カメラ群903からの映像や、録画装置905からの映像はネットワーク904を通じて映像解析サーバー901に入力される。仮想設置状態設定クライアント907で設定された仮想設置状態情報は、ネットワーク909を通じて映像解析サーバー901に入力される。映像解析サーバー901では図2～図5で説明した処理を実施し、変換後動き特徴量818を蓄積する。蓄積された変換後動き特徴量818はネットワーク906を通じて監視モニター902に入力され、解析処理を行った後、その結果を表示装置805に表示する。
　図9では、特徴量抽出処理を映像解析サーバー901内で実施しているが、監視カメラ群の各カメラ内で実施してもよい。また、特徴量解析処理を監視モニター902内で実施しているが、映像解析サーバー901内で実施し、結果を蓄積してもよい。また仮想設置状態情報設定908を仮想設置状態情報設定クライアント907内で実施しているが、映像解析サーバー901に入出力端末を直接接続して実施してもよい。
　図10は仮想設置状態情報設定クライアント907内での仮想設置状態情報設定GUIの例を示す図である。仮想設置状態情報設定GUIは1001の様な入力ウィンドウとして提供される。このGUIは仮想設置状態情報を入力可能な入力ボックス(1002、1003)を備える。図10の例では、高さ及び角度を設置可能な例を示す。また、入力された値を反映するための決定ボタン1004を備え、これを押すことで、本監視システムで用いる仮想設置状態が決定される。また、現在の仮想設置状態を図示したウィンドウ1005を備える。この例は一例であり、設定可能な仮想設置状態情報は適宜増減してもよいし、ウィンドウ1005の代わりに現在の状態をテキストで表示してもよいし、無くしてもよい。また決定ボタンの代わりに、一定タイミング毎に設定内容を自動送信する機能を有してもよい。また、仮想設置状態は、この例の様に自由に入力できる方式に限らず、幾つかの候補から選択して設定してもよいし、既に設置されているカメラから１つを選択し、そのカメラの設置状態を仮想設置状態としてもよい。
　以上を踏まえ、本実施例１に記載の監視システムは、複数のカメラからの映像を受信し、映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、抽出部からの抽出結果を蓄積する記憶部と、抽出した動き特徴量を変換する変換部と、変換後の動き特徴量を解析する解析部と、を有し、変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする。
　かかる特徴により、設置条件の違う複数の監視カメラから抽出した動き情報を適切に比較することができる。
　図11は、本発明の実施例２に係る映像監視装置200の機能ブロック図である。実施例２は、実施例１において、解析処理が複数ある場合の例について説明する。その他の構成は実施例１と同様であるため、以下では差異点を中心に説明する。
　図2で示した監視装置に解析処理が複数ある場合の例を図11に示す。この図11では解析処理が２種類ある場合について説明する。仮想設置状態情報201には、各解析処理(1106、1108)にて必要な仮想設置状態を予め設定しておき、それぞれ仮想視点生成部Ａ1101と仮想視点生成部Ｂ1102に入力する。仮想視点生成部Ａ1101と仮想視点生成部Ｂ1103では与えられる仮想設置状態のみが違い、処理内容はどちらも実施例１において説明した仮想視点生成部203と同様の処理を行う。これらによって得られたそれぞれの仮想視点情報を用いて、変換方法Ａ決定部1102及び変換方法Ｂ決定部1104では、それぞれ特徴量変換部Ａ1105及び特徴量変換部Ｂ1107で用いる特徴量変換方法を決定する。変換方法Ａ決定部1102及び変換方法Ｂ決定部1104の処理内容については、実施例１において説明した変換方法決定部204と同様の処理を行う。特徴量変換部Ａ1105及び特徴量変換部Ｂ1107では、それぞれ決定した変換方法に従い、動き特徴量抽出部206で抽出した動き特徴量を変換する。特徴量解析部Ａ1106及び特徴量解析部Ｂ1108では、それぞれ変換された特徴量を用いて解析処理を行う。提示内容選択部1110には、制御信号1109が入力される。この制御信号1109は解析結果提示部209で提示したい解析結果を指定するための制御信号である。この制御信号に従い、特徴量解析部Ａと特徴量解析部Ｂの解析結果のうち、解析結果提示部209に入力する解析結果を選択する。
　例えば、対象を真上から見た視点で解析した結果と、真横から見た視点で解析した結果の両方が必要な場合には、特徴量変換部Ａ1105において真上から見た仮想視点を用いて特徴量を変換し特徴量解析部Ａ1106にて解析を行い、特徴量変換部Ｂ1107において真横から見た仮想視点を用いて特徴量を変換し特徴量解析部Ｂ1108にて解析を行ったのち、真上から見た視点での解析結果を見る際には制御信号1109に特徴量解析部Ａ1106の解析結果を出力する信号を与え、真横から見た視点での解析結果を見る際には制御信号1109に特徴量解析部Ｂ1108の解析結果を出力する信号を与えればよい。
　本実施例では解析処理が２種類である場合について説明したが、３種類以上解析処理がある場合についても同様の方法で実現できる。また１つの変換された特徴量を複数の解析処理で共用してもよい。
　係る特徴により、実施例1の効果に加え、より好適に解析結果を提示することができる。
　図12は、本発明の実施例形態３に係る監視装置800の構成例である。本実施例３では、録画装置1201内に演算処理部801と記録部802を構成した。その他の構成は実施例１と同様であるため、以下では差異点を中心に説明する。
　映像取得記録処理1202は入出力部803を通して監視カメラ806からの映像を取得する。次に、取得した映像を記録部802内に保存可能な形式に変換し、録画映像1203として保存する。動き特徴量抽出処理は、録画映像1203から抽出対象の映像を取得し、動き特徴量抽出処理を行う。
　本実施例ではユーザインターフェース804及び表示装置805は録画装置1201の外にある例を示したが、録画装置内に構成してもよい。
　図13は、本発明の実施例４に係る仮想視点生成部203の処理例である。本実施例４では、監視カメラ1305の監視対象領域が屋外の道路1301の様な特殊な環境における場合の仮想視点生成方法の一例を示す。その他の構成は実施例１と同様であるため、以下では差異点を中心に説明する。
　図13の様に、監視領域が道路1301である場合には、道路との関係を考慮した形式に特徴量を変換した方が、解析処理で取り扱いやすい場合がある。そこで、道路位置情報1303を地図データベース等から取得し、その道路情報1303を用いて仮想視点1304を構成する。道路位置情報1303から道路1301中の白線1302の位置を抽出し、白線1302が仮想視点の視線の中心となる様に仮想視点を決定する。仮想視点の決定では、まず、各監視カメラ1305の設置情報から、カメラの視線と地面の交点1306を求める。次に求めた交点1306に最も近い白線1302上の点1307を求める。この点1307が視線の中心になるカメラの設置位置のうち、高さが仮想設置状態301の地面からの高さ302に一致し、角度が仮想設置状態301の地面からの角度303と一致する位置を仮想視点1304とする。この仮想視点1304とカメラ1305の設置位置の差が、カメラ1305から仮想視点1304への並進移動量1308となる。ここでは白線1302の位置情報は道路位置情報1303から抽出したが、ハフ変換等を用いた画像処理により、監視映像から自動的に抽出してもよい。
　以上の様に、全てのカメラに対する仮想視点を設定することで、実施例1の効果に加え、全てのカメラから得られる特徴量が道路と関連付けられた形に変換されるため、解析処理で特徴量を扱いやすくなる。
　本発明は上記した実施例の形態に限定されるものではなく、様々な変形例が含まれる。上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。
　上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
101：監視対象、
102：監視カメラ、
104：動き特徴量、
106：仮想設置状態、
107：仮想視点、
109：変換後の動き特徴量、
111：データベース、
200:映像監視装置、
201：仮想設置状態情報、
202：監視カメラ設置情報、
203：仮想視点生成部、
204：変換方法決定部、
205：監視カメラからの映像、
206：動き特徴量抽出部、
207：特徴量変換部、
208：特徴量解析部、
209：解析結果提示部、
210：仮想視点情報、
211：変換方法、
801：演算処理装置、
802：記録装置、
803：入出力装置、
804：ユーザインターフェース、
805：表示装置、
806：監視カメラ、
807：録画装置、
901：映像解析サーバー、
902：監視モニター、
904、906、909：ネットワーク、
907：仮想設置状態情報設定クライアント、
1001：仮想設置状態入力ウィンドウ。

Claims (13)

  1. 　複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、
    　前記抽出部からの抽出結果を蓄積する記憶部と、
    　抽出した前記動き特徴量を変換する変換部と、
    　変換後の前記動き特徴量を解析する解析部と、を有し、
    　前記変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする映像監視システム。
  2. 　請求項１に記載の映像監視システムであって、
    　前記変換部は、
    前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
    ことを特徴とする映像監視システム。
  3. 　請求項１に記載の映像監視システムであって、
    　前記変換部は、
    前記抽出部が抽出した前記動き特徴量の実空間上の３次元位置を推定する３次元位置推定部と、
    　前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定部と、
    推定された前記３次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換部と、をさらに有する
    ことを特徴とする映像監視システム。
  4. 　請求項３に記載の映像監視システムであって、
    　複数の前記変換部と、
    　前記解析部からの解析結果を提示する提示部と、をさらに備え
    　前記提示部で提示する解析結果を、制御信号によって切り替える
    ことを特徴とする映像監視システム。
  5. 　請求項２に記載の映像監視システムであって、
    　入力された道路情報から白線の位置を抽出し、前記交点と最も近い白線上の点を算出し、前記白線上の点が視線の中心となるカメラの位置のうち仮想的な設置状態と実際の前記カメラの設置状態とが一致する位置を仮想視点として生成する
    ことを特徴とする映像監視システム。
  6. 　請求項１記載の映像監視システムであって、
    　前記変換部で用いる前記仮想視点を設定するユーザインターフェースと、をさらに有する
    ことを特徴とする監視システム。
  7. 　複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出ステップと、
    　前記抽出ステップからの抽出結果を蓄積する記憶ステップと、
    　抽出した前記動き特徴量を変換する変換ステップと、
    　変換後の前記動き特徴量を解析する解析ステップと、を有し、
    　前記変換ステップは、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする映像監視方法。
  8. 　請求項７に記載の映像監視方法であって、
    　前記変換ステップは、
    前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
    ことを特徴とする映像監視方法。
  9. 　請求項７に記載の映像監視方法であって、
    　前記変換ステップは、
    　前記抽出ステップが抽出した前記動き特徴量の実空間上の３次元位置を推定する３次元位置推定ステップと、
    　前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定ステップと、
    　推定された前記３次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換ステップと、をさらに有する
    ことを特徴とする映像監視方法。
  10. 　請求項９に記載の映像監視方法であって、
    　複数の前記変換ステップと、
    　前記解析部からの解析結果を提示する提示ステップと、をさらに備え
    　前記提示ステップで提示する解析結果を、制御信号によって切り替える
    ことを特徴とする映像監視方法。
  11. 　コンピュータに以下のステップを実現させるためのプログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、
    　複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出ステップと、
    　前記抽出ステップからの抽出結果を蓄積する記憶ステップと、
    　抽出した前記動き特徴量を変換する変換ステップと、
    　変換後の前記動き特徴量を解析する解析ステップと、を有し、
    　前記変換ステップは、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換すること
    を特徴とするプログラムが記録されている情報記録媒体。
  12. 　請求項１１に記載の情報記録媒体であって、
    　前記変換ステップは、
    前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
    ことを特徴とするプログラムが記録されている情報記録媒体。
  13. 　請求項１１に記載の情報記録媒体であって、
    　前記変換ステップは、
    　前記抽出ステップが抽出した前記動き特徴量の実空間上の３次元位置を推定する３次元位置推定ステップと、
    　前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定ステップと、
    　推定された前記３次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換ステップと、をさらに有する
    ことを特徴とするプログラムが記録された情報記録媒体。
PCT/JP2013/066418 2013-06-14 2013-06-14 映像監視システム、監視装置 WO2014199505A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015522362A JP6182607B2 (ja) 2013-06-14 2013-06-14 映像監視システム、監視装置
US14/897,492 US10491863B2 (en) 2013-06-14 2013-06-14 Video surveillance system and video surveillance device
DK13886651.2T DK3010229T3 (en) 2013-06-14 2013-06-14 Video surveillance system, video surveillance device
EP13886651.2A EP3010229B1 (en) 2013-06-14 2013-06-14 Video surveillance system, video surveillance device
CN201380077304.1A CN105284108B (zh) 2013-06-14 2013-06-14 影像监视***、监视装置
PCT/JP2013/066418 WO2014199505A1 (ja) 2013-06-14 2013-06-14 映像監視システム、監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/066418 WO2014199505A1 (ja) 2013-06-14 2013-06-14 映像監視システム、監視装置

Publications (1)

Publication Number Publication Date
WO2014199505A1 true WO2014199505A1 (ja) 2014-12-18

Family

ID=52021835

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/066418 WO2014199505A1 (ja) 2013-06-14 2013-06-14 映像監視システム、監視装置

Country Status (6)

Country Link
US (1) US10491863B2 (ja)
EP (1) EP3010229B1 (ja)
JP (1) JP6182607B2 (ja)
CN (1) CN105284108B (ja)
DK (1) DK3010229T3 (ja)
WO (1) WO2014199505A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020188297A (ja) * 2019-05-09 2020-11-19 キヤノン株式会社 撮像装置、撮像システム、およびその制御方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6539253B2 (ja) * 2016-12-06 2019-07-03 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
JP6815935B2 (ja) * 2017-06-05 2021-01-20 日立オートモティブシステムズ株式会社 位置推定装置
JP6482696B2 (ja) * 2017-06-23 2019-03-13 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
JP2019102907A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 設定装置、設定方法、及びプログラム
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
JP7164968B2 (ja) * 2018-05-07 2022-11-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP7277085B2 (ja) * 2018-07-04 2023-05-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7123736B2 (ja) * 2018-10-23 2022-08-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7358078B2 (ja) * 2019-06-07 2023-10-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び、プログラム
JP2021179728A (ja) * 2020-05-12 2021-11-18 株式会社日立製作所 映像処理装置、及び、その方法
JP7482011B2 (ja) * 2020-12-04 2024-05-13 株式会社東芝 情報処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290962A (ja) * 2001-03-27 2002-10-04 Mitsubishi Electric Corp 侵入者自動追尾方法および装置並びに画像処理装置
JP2011193187A (ja) 2010-03-15 2011-09-29 Omron Corp 監視カメラ端末
JP2011228846A (ja) * 2010-04-16 2011-11-10 Canon Inc 画像処理装置および方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5912700A (en) * 1996-01-10 1999-06-15 Fox Sports Productions, Inc. System for enhancing the television presentation of an object at a sporting event
WO2005099423A2 (en) * 2004-04-16 2005-10-27 Aman James A Automatic event videoing, tracking and content generation system
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US6816185B2 (en) * 2000-12-29 2004-11-09 Miki Harmath System and method for judging boundary lines
US7143083B2 (en) * 2001-06-12 2006-11-28 Lucent Technologies Inc. Method and apparatus for retrieving multimedia data through spatio-temporal activity maps
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
US6950123B2 (en) * 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
JP4192680B2 (ja) * 2003-05-28 2008-12-10 アイシン精機株式会社 移動体周辺監視装置
KR100603601B1 (ko) 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
EP2200313A1 (en) * 2004-11-12 2010-06-23 Saab Ab Image-based movement tracking
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US8457392B2 (en) * 2007-07-27 2013-06-04 Sportvision, Inc. Identifying an object in an image using color profiles
US20090113505A1 (en) * 2007-10-26 2009-04-30 At&T Bls Intellectual Property, Inc. Systems, methods and computer products for multi-user access for integrated video
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US8184855B2 (en) * 2007-12-10 2012-05-22 Intel Corporation Three-level scheme for efficient ball tracking
EP2150057A3 (en) * 2008-07-29 2013-12-11 Gerald Curry Camera-based tracking and position determination for sporting events
IL207116A (en) * 2009-08-10 2014-12-31 Stats Llc Location tracking method and method
US9286720B2 (en) * 2009-08-20 2016-03-15 Northrop Grumman Systems Corporation Locative video for situation awareness
US9600760B2 (en) * 2010-03-30 2017-03-21 Disney Enterprises, Inc. System and method for utilizing motion fields to predict evolution in dynamic scenes
US20110298988A1 (en) * 2010-06-04 2011-12-08 Toshiba Alpine Automotive Technology Corporation Moving object detection apparatus and moving object detection method
US8532367B2 (en) * 2010-08-17 2013-09-10 Raytheon Company System and method for 3D wireframe reconstruction from video
JP5525495B2 (ja) * 2011-08-30 2014-06-18 株式会社日立製作所 映像監視装置、映像監視方法およびプログラム
US8457357B2 (en) * 2011-11-09 2013-06-04 Disney Enterprises, Inc. Relative pose estimation of non-overlapping cameras using the motion of subjects in the camera fields of view

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290962A (ja) * 2001-03-27 2002-10-04 Mitsubishi Electric Corp 侵入者自動追尾方法および装置並びに画像処理装置
JP2011193187A (ja) 2010-03-15 2011-09-29 Omron Corp 監視カメラ端末
JP2011228846A (ja) * 2010-04-16 2011-11-10 Canon Inc 画像処理装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MICHALIS RAPTIS; STEFANO SOATTO: "Tracklet Descriptors for Action Modeling and Video Analysis", PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION, September 2010 (2010-09-01)
S. BAKER; I. MATTHEWS: "Lucas-kande 20 years on: A unifying framework", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 53, no. 3, 2004

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020188297A (ja) * 2019-05-09 2020-11-19 キヤノン株式会社 撮像装置、撮像システム、およびその制御方法
JP7423196B2 (ja) 2019-05-09 2024-01-29 キヤノン株式会社 撮像装置、撮像システム、およびその制御方法

Also Published As

Publication number Publication date
JP6182607B2 (ja) 2017-08-16
CN105284108B (zh) 2019-04-02
US10491863B2 (en) 2019-11-26
CN105284108A (zh) 2016-01-27
EP3010229A1 (en) 2016-04-20
JPWO2014199505A1 (ja) 2017-02-23
EP3010229A4 (en) 2017-01-25
US20160127692A1 (en) 2016-05-05
DK3010229T3 (en) 2019-03-18
EP3010229B1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
JP6182607B2 (ja) 映像監視システム、監視装置
JP7282851B2 (ja) 装置、方法及びプログラム
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
EP3511903A1 (en) Three-dimensional model generating device and three-dimensional model generating method
KR101848959B1 (ko) 컬러 채널 및 광학 마커
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN108594999B (zh) 用于全景图像展示***的控制方法和装置
US8165348B2 (en) Detecting objects crossing a virtual boundary line
US20180316877A1 (en) Video Display System for Video Surveillance
JP2014106681A5 (ja)
JP7029902B2 (ja) 映像通話品質測定方法およびシステム
JP2010237804A (ja) 画像検索システム及び画像検索方法
JP2016187162A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7043601B2 (ja) 環境モデルを生成するための方法および装置ならびに記憶媒体
WO2014182898A1 (en) User interface for effective video surveillance
US10970876B2 (en) Methods and apparatus for image locating relative to the global structure
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
KR101563736B1 (ko) 가상자원의 위치정보 매핑 방법 및 장치
WO2018179119A1 (ja) 映像解析装置、映像解析方法および記録媒体
KR101036107B1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
KR101850134B1 (ko) 3차원 동작 모델 생성 방법 및 장치
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
KR20180110912A (ko) 부동산 정보 제공방법 및 그를 위한 어플리케이션
KR20210055381A (ko) 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 장치, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380077304.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13886651

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015522362

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013886651

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14897492

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE