WO2015047136A1 - Распределенная архитектура системы видеомониторинга леса - Google Patents

Распределенная архитектура системы видеомониторинга леса Download PDF

Info

Publication number
WO2015047136A1
WO2015047136A1 PCT/RU2014/000679 RU2014000679W WO2015047136A1 WO 2015047136 A1 WO2015047136 A1 WO 2015047136A1 RU 2014000679 W RU2014000679 W RU 2014000679W WO 2015047136 A1 WO2015047136 A1 WO 2015047136A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
data
potential hazard
servers
server
Prior art date
Application number
PCT/RU2014/000679
Other languages
English (en)
French (fr)
Inventor
Иван Сергеевич ШИШАЛОВ
Андрей Викторович ФИЛИМОНОВ
Олег Андреевич ГРОМАЗИН
Сергей Вячеславович БРУНОВ
Александр Владимирович РОМАНЕНКО
Ярослав Сергеевич СОЛОВЬЕВ
Original Assignee
Общество С Ограниченной Ответственностью "Дисикон"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью "Дисикон" filed Critical Общество С Ограниченной Ответственностью "Дисикон"
Priority to US14/895,214 priority Critical patent/US10009532B2/en
Priority to EA201600203A priority patent/EA201600203A1/ru
Publication of WO2015047136A1 publication Critical patent/WO2015047136A1/ru

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates, in General, to the field of video surveillance and, more specifically, to the distributed architecture of the forest video monitoring system, which, in General, provides the ability to monitor large forest areas with the determination of the coordinates of detected objects using optical passive location for the purpose of early detection of forest fires for their further localization and extinguishing.
  • Forest video monitoring systems designed to detect and locate forest fires have been used relatively recently. Nevertheless, their relevance is increasing, since the problem of forest fires can rightfully be considered one of the most serious and unresolved problems at the moment. Forest fires occur and cause enormous damage in many countries of the world, as evidenced by forest fires in the Russian Federation in the summer of 2010, which had catastrophic consequences, including due to failure to detect them early and determine their location, as it was repeatedly and widely spoken in the media.
  • FIG. 1 an illustration is given of the basic structure of a “classic” forest video monitoring system.
  • forest video monitoring systems are systems ForestWatch (Canada), IPNAS (Croatia), Fire atch (Germany).
  • a forest video monitoring system 100 generally includes a plurality of remotely controlled video monitoring points 110 and associated one or more automated operator workstations 120 for the proper operation of video monitoring points 110.
  • the equipment 120 of the operator’s workstation in general, is implemented on the basis of widely known computer and communication technologies and, in a typical case, comprises a computer capable of remote data exchange with specialized and general-purpose software installed on it.
  • General-purpose hardware and software for example, an operating system
  • the term “computer” can be understood as a personal computer, a laptop, a set of interconnected computers, etc. with characteristics that meet the requirements of the system 100.
  • a display device is connected to the computer, which displays the graphic user interface (GUI) associated with the specialized application when the computer is running, through which the operator performs visual monitoring of the territory and controls points 110 video monitoring. Interaction with graphical user interface elements is carried out using using well-known input devices connected to a computer, such as a keyboard, mouse, etc.
  • GUI graphic user interface
  • Each video monitoring point 110 represents the transmitting side equipment 111 located on the high-rise structure 112.
  • the high-rise structure 112 in general, can be any high-rise structure that meets the requirements of the system 100 (i.e. e. adapted to place the equipment of the transmitting side at a sufficient height and providing the opportunity to inspect a sufficiently large area), and usually consists of a tower of a communication provider, a tower of a mobile operator, television tower, lighting tower or .p.
  • transmitting side equipment 111 means equipment located on a tall building 112 comprising a controlled video device 113 and a communication module 114 for communicating / exchanging data with the operator’s workstation (s) 120.
  • the controlled video device 113 in the General case, is a digital video camera 115, equipped with a zoom 116 and mounted on a rotary device 117, through which you can mechanically change the spatial orientation of the video camera 115 with high accuracy.
  • the transmitting side equipment 111 also comprises a video camera control device 118 connected to a communication module 114, a video camera 115, a zoom 116 and a rotary device 117 and intended for the general control of the functions of the managed video device 113 as a whole and its components in particular.
  • the control device 118 upon receiving control signals from the operator through the communication module 114, the control device 118 is adapted to set the required spatial orientation of the video camera 115 (for example, to point it at an object whose observation is required) by controlling the rotary device 117, and / or to zoom in / out the image of the object observed from it by controlling the zoom 116.
  • the device 118 is adapted to set the required spatial orientation of the video camera 115 (for example, to point it at an object whose observation is required) by controlling the rotary device 117, and / or to zoom in / out the image of the object observed from it by controlling the zoom 116.
  • the device 118 upon receiving control signals from the operator through the communication module 114,
  • the control unit 118 is adapted to determine the current spatial orientation of the video camera 115 and to provide data on its current spatial orientation through the communication module 11 to the requestor (in particular, to the operator’s workstation 120, where this data, for example, is displayed in the GUI).
  • the functionalities listed here are well-known properties of the modern sets of controlled video cameras offered on the market.
  • the control device 118 in general, is a microprocessor-specific hardware unit such as a controller, microcomputer, etc., which is programmed in a known manner and / or programmable to carry out the functions prescribed to it.
  • the programming of the control device 118 may be accomplished, for example, by recording (“firmware”) its firmware (“firmware”), which is widely known in the art.
  • firmware firmware
  • a storage device for example, integrated flash memory
  • the corresponding (micro) software is stored using the implementation of which is associated with the device 118 control functions.
  • Operator workstations 120 may be connected to video monitoring points 110 either directly or via a communication network
  • the 114 video monitoring points 110 and the communication interface of the computer of the operator workstation 120 must comply with the communication standards / protocols on which such communication is based.
  • an illustrative network 130 to which video monitoring points and operator workstations 120 are connected may be an address network such as the Internet. If there is a video monitoring channel of a third-party provider at the installation site 110, which is a common case, it is preferable to use this channel to connect the equipment of the transmitting side 111 to the Internet. If, at the installation point of the video monitoring point 110, there is no possibility of a direct connection to the Internet, the well-known wireless broadband technologies (for example, Wi-Fi, WiMAX, 3G, etc.) are used to provide communication between the transmitting side equipment 111 and Internet access point. Similarly, the connection to the network 130 and the operator’s workstations 120 is made. In particular, to connect to a network 130, a modem (including wireless), a network interface card can be used, depending on the access technology being implemented (NIC), a wireless access card and the like, external or internal to the computer of the operator workstation 120.
  • NIC access technology being implemented
  • the system 100 also includes a server 140 connected to the network 130, to which centralized control functions of the set of video monitoring points 110 and their interaction with operator workstations 120 are delegated to ensure the reliable functioning of the system 100.
  • the server 140 is typically a high-performance computer or a set of interconnected computers (for example, a rack of blade servers) with specialized server software installed on it (them), having (their) high-speed (e.g., optical) Internet connection.
  • the hardware / software implementation of such a server is obvious to a specialist.
  • the server 140 can also carry out various highly specialized functions — for example, it can perform the functions of a video server that collects and processes data and provides it to the user upon request.
  • Such an intelligent subsystem that implements these computer vision technologies can, in general, be implemented and at the operator’s workstation 120, and at the server 140, and even in the most managed video device 113.
  • FIG. Figure 2 shows approximately the need for various components of a classical system
  • An object of the present invention is to provide a distributed forest video monitoring system with efficient organization of data traffic and providing the possibility of flexible control of computing resources, as well as a method of automated fire detection carried out by this system.
  • a forest video monitoring system contains many video monitoring points, each of which contains a video camera on a high-rise structure.
  • the forest video monitoring system also includes a video monitoring and primary video data processing subsystem containing one or more video servers.
  • Each video server is assigned one or more video monitoring points from the aforementioned set thereof for controlling video cameras of these one or more video monitoring points.
  • Each server is associated with camcorders video monitoring points assigned to it by means of a communication channel for receiving video data captured by these video cameras.
  • video servers and video cameras of their designated video monitoring points can be connected to a high-speed virtual private network (VPN).
  • VPN virtual private network
  • the proposed system includes: a storage and secondary data processing subsystem containing one or more object servers; as well as one or more computer terminals.
  • the mentioned video servers, object servers and computer terminals are connected to the communication network.
  • Each video server is capable of: performing analysis of captured video data to identify signs of fire, if signs of fire are detected, generate a potential hazard data object related to the identified potential fire, and send a potential hazard data object to the storage system and secondary processing of video data, preferably with a request to save this data object of potential danger in the storage and secondary processing subsystem of video data.
  • Each object server is configured to: save and modify potential hazard data objects, and send potential hazard data objects to computer terminals.
  • the object server receives potential hazard data objects from the video monitoring control subsystem and the primary processing of the video data.
  • a client application is installed on each terminal computer to ensure operator interaction with the subsystem. my control of video monitoring and primary processing of video data and the subsystem of storage and secondary data processing.
  • the client application is configured to receive data objects of potential danger from the storage and secondary data processing subsystem and present data objects of potential danger to the operator.
  • the video monitoring and primary processing control subsystem of the video data further comprises one or more databases, wherein each video server is configured to save the resulting video data, with reference to the associated descriptive metadata, in a related database of these one or more databases.
  • each video server comprises a computer-implemented computer vision system for performing said video analysis.
  • the computer vision system of the video server extracts video data for analysis from its associated database.
  • the video server computer vision system is configured to generate a potential hazard data object for identifying fire signs in the analyzed video data so that the generated potential hazard data object is tied to video data in which fire signs were detected and associated metadata, I describe - General shooting characteristics of these video data.
  • a computer-implemented computer vision system is preferably configured to use various computer vision algorithms to provide for detection of signs of fire on different types of cameras and in different shooting conditions.
  • each object server is further configured to: compare the received potential hazard data object with previously stored potential hazard data objects in order to find potential hazard data objects that are interconnected with the resulting potential hazard data object. According to the results of the comparison, the object server is configured to perform at least one of storing the received potential hazard data object, modifying at least one of the previously saved potential hazard data objects, and modifying the received potential hazard data object.
  • the object server is configured to, if, among previously stored potential hazard data objects, identifies a potential hazard data object substantially coinciding with the potential hazard data object received, to adjust the characteristics of the identified potential hazard data object based on the characteristics of - the radiated data object of potential danger, without storing the received data object of potential danger.
  • each object server is configured to save and maintain all changes to all potential hazard data objects that are present on it, including after deleting potential hazard data objects.
  • the video monitoring and primary video processing control subsystem further comprises a video server controller connected to a communication network, to control the operation of video servers.
  • the video server controller is configured to dynamically redistribute the load between the video servers.
  • the video server controller preferably comprises means for diagnosing and analyzing the current and average load on the video servers, the load including computational load and network traffic load.
  • Video servers receive lists of video monitoring points assigned to them for service from the video server controller.
  • the video server controller is preferably configured to automatically dynamically reassign video monitoring points to video servers depending on the load on the video servers, while each video server is preferably configured to monitor its list of video monitoring points for changes from the video server controller faiths.
  • the proposed forest video monitoring system further comprises one or more user environment servers for controlling and configuring access of operators to the components and resources of the forest video monitoring system through client applications, as well as for routing, together with client applications, data. necessary for operators to work.
  • Each client application is configured to dynamically determine, in interaction with user environment servers, and visualize information for the operator about the components and resources of the forest video monitoring system available to the operator.
  • the client application is configured to visualize for the operator a list of available operations a list of object servers, a list of available video servers for the operator and a list of available cameras serviced by these video servers.
  • the client application is configured to provide the operator with the opportunity to access the video data coming in real time from any one of the available cameras, or to the stored video data previously captured by any of the available cameras, as well as to control the operation one of the available camcorders.
  • each client application is configured to: visualize for the operator a list of potential hazard data objects received from the object servers; when the operator refers to a potential hazard data object from the list of potential hazard data objects, request video data stored in the database, associated with this potential hazard data object, and associated metadata on the corresponding video server; visualize the said data object of potential danger to the operator by visualizing the received video data and associated metadata; and provide the operator with the opportunity to confirm or. not confirm a possible fire, which is signaled by the visualized object of potential hazard data.
  • the client application is configured to assign video monitoring points to video servers and / or to assign a territorial area of responsibility to each of the object servers.
  • a video server from a plurality of video servers receive video data from at least one video camera; perform video analysis to identify signs of fire; when signs of fire are detected, a potential hazard data object is generated related to the identified possible fire, with reference to the video data in which signs of fire were detected, and, preferably, with additional reference to the metadata describing characteristics of shooting video data; and send the potential hazard data object to at least one of the object servers.
  • an object server receives a data object of potential danger; match the received potential hazard data object with previously stored potential hazard data objects; according to the results of the comparison, at least one of storing the received potential hazard data object is performed, modifying at least one of the previously stored potential hazard data objects and modifying the received potential hazard data object; and send one or more potential hazard data objects to at least one computer terminal.
  • the potential hazard data of the potential hazard data object when the results of said comparison are revealed among previously stored objects
  • the potential hazard data of the potential hazard data object essentially coinciding with the received potential hazard data object, modify the identified potential hazard data object based on the received potential hazard data object, without saving the received potential hazard data object.
  • the proposed method further comprises the steps of, by means of a computer terminal: visualizing for the operator a list of potential hazard data objects received from the object servers; when an operator accesses a potential hazard data object from a list of potential hazard data objects, the video data associated with this potential hazard data object and associated metadata are requested on the corresponding video server; visualizing said object of potential hazard data for the operator by visualizing the obtained video data and associated metadata; and provide the operator with the opportunity to confirm or not confirm a possible fire, which is signaled by the visualized object of potential hazard data.
  • FIG. 1 is a schematic partial illustration of a forest video monitoring system
  • FIG. 2 is an illustration of the needs of components of system 100 by
  • FIG. 1 in communication channels
  • FIG. 3 is a general illustration of a forest video monitoring system according to the present invention.
  • FIG. 4 illustration of the detection of one potentially dangerous object from two cameras
  • FIG. 5 is an illustration of a general diagram of a client application interacting with system components 300 of FIG. 3;
  • FIG. 6 is an illustration of the territorial structure of the system 300 of FIG. 3;
  • FIG. 7 is a flow chart of a fire detection method according to a preferred embodiment of the present invention.
  • FIG. 8 is an illustration of the messaging for the example of FIG. four ;
  • FIG. 9, 10 illustration of direct work with a video camera from a client application
  • FIG. 11 is an illustration of controlling a video camera through a video server
  • FIG. 12 is an illustration of commissioning a new video server
  • FIG. 13 is an illustration of the transfer of camcorder services from one video server to another. DETAILED DESCRIPTION OF THE INVENTION
  • the proposed distributed architecture of a forest video monitoring system includes the following main components:
  • the low-level aspects of the computer terminals of the inventive system are similar to the corresponding aspects of the computerized workstations of 120 operators of the system 100.
  • a client application is installed on each terminal computer to ensure interaction between the operator and the video monitoring management subsystem and primary processing of video data and a subsystem of storage and secondary data processing.
  • the video monitoring control and primary video processing subsystem 320 includes one or more video servers 3210, which are collectively considered a video server farm.
  • Each video server 3210 is assigned one or more video monitoring points 310 to control their video cameras and obtain the video data they record.
  • control is understood, including, inherent in the above-described classical forest video monitoring system, aspects of the task for the video camera of the patrol route, spatial orientation and zoom (for example, for pointing at a specific object on the ground), calibration and etc.
  • video servers 3210 are geographically located so that the video servers are connected to ' respective video monitoring points 310 via communication channels with sufficient bandwidth (for example, at least a width , at 4 Mbps, as mentioned above).
  • video servers 3210 are located in the immediate “logical proximity” from their respective video monitoring points 310.
  • the video server 3210 can be connected to the video monitoring points assigned to it by means of a high-speed virtual private network (VPN), where the speed between the video server and the camera array is 30 Mbps or higher, in a manner known to the person skilled in the art.
  • the video server 3210 can be configured to configure parameters such as number of frames per second, video stream compression parameters, type of information taken from the video camera, etc., to provide the required bandwidth of communication channels with video cameras.
  • Each of the video servers 3210 receives video data captured by the video cameras it serves.
  • the video monitoring control and primary video processing subsystem 320 may further include one or more data bases 3220 so that video servers 3210 can store and retrieve data from them.
  • data base is understood as a physical storage of information of large capacity and data stored in it organized in an appropriate way.
  • the database 3220 in FIG. 3 are shown in a separate manner with respect to video servers 3210, it should be obvious to a specialist that at least some of the data bases 3220 can be integrated with respective video servers 3210 (for example, database data can be stored in a memory device (s) from the server).
  • Each video server 3210 preferably stores the video data transmitted from the cameras in its associated database (s) 3220.
  • the video server 3210 when passing a route or a route system, sends a command to the camera to position the camera at a given shooting position or repositioning the camera to a new shooting position.
  • the video server 3210 captures the shooting parameters, such as the identifier of the camera, target azimuth angle, declination angle, opening the lens, real azimuth angle, declination angle, opening the lens, shooting time, etc.
  • the camcorder reaches the desired position, the camera takes a video and the captured video data is sent to the 3210 video server.
  • the captured video data is then stored by the video server 3210 in the data base 3220 together with the fixed shooting parameters that make up the metadata associated with this video material, using formats and / or data compression methods that are widely known in the art.
  • the above and other possible parameters that make up the descriptive metadata can be logically organized in any suitable way, known, in particular, in the field of programming (for example, in the data structure).
  • the storage of video data is as follows. From the captured video data, the video server 3210 in a known manner captures a still image and collectively writes to the database the specified number of frames of the video stream constituting the video clip and two static pictures (full-size and miniature) formed from the captured still image. Static pictures can be stored in a database using any of such widely known formats as JPEG, TIF, PNG, etc., and a video can be respectively saved in a database using, for example, the well-known format as MPEG, and the duration (number of frames) of the video can be configured or dynamically selected by the video server.
  • each video server 3210 in a known manner captures a still image and collectively writes to the database the specified number of frames of the video stream constituting the video clip and two static pictures (full-size and miniature) formed from the captured still image. Static pictures can be stored in a database using any of such widely known formats as JPEG, TIF, PNG, etc., and a video can be respectively saved in a database using
  • 3210 is configured to analyze captured video data to detect signs of fire.
  • This analysis is carried out by a computer vision system implemented as part of a video server 3210 with respect to video data extracted from a database 3220.
  • a computer vision system implemented as part of a video server 3210 with respect to video data extracted from a database 3220.
  • the specified analysis can be carried out on request, continuously, according to a schedule or otherwise.
  • the required video data and metadata can be extracted from the database using a link that represents unique identifiers of the video camera, patrol route and / or specific fact of shooting within the route, uniquely identifying the video material that was taken from the camera.
  • a link that represents unique identifiers of the video camera, patrol route and / or specific fact of shooting within the route, uniquely identifying the video material that was taken from the camera.
  • a computer-implemented computer vision system analyzes the extracted content for signs of fire, i.e. identifying potentially dangerous objects (VET) in multimedia content, such as, for example, smoke, fire, etc., in accordance with the above statement, and establishing their geographical location.
  • the computer vision system of the video server is configured according to the occurrence of signs of fire, to form a special data object of potential danger characterizing the identified VET.
  • VET detected by the computer vision system in the video data does not necessarily correspond to a real fire, but may also be a consequence of a false positive of the computer vision system.
  • the generated potential hazard data object may include: a name, which for the automatically detected VET is formed from the name of the video camera with which it was found, and the time at the time of detection; estimation of VET coordinates; an assessment of the area in which VET can be located; the degree of confidence for VET found by the computer vision system (for example, finding signs of VET during repeated inspection of the territory increases the degree of confidence); status (not confirmed by a person, confirmed by a person), etc.
  • the extracted metadata is also used in computations performed by a computer vision system.
  • the computer vision algorithm gives it coordinates in pixels, and to restore where this VET could be located on the ground, you need to know where and how the video camera “looked” when shooting material that makes up the analyzed content.
  • a data object of potential hazard is generated with reference to the video data in which the corresponding VET has been identified.
  • the video server 3210 stores multimedia data with the corresponding metadata, where in this case, the multimedia data preferably includes a video clip and two static pictures (full-size and miniature), identified VET.
  • a link to the associated multimedia data and associated metadata is also included in the corresponding potential hazard data object, according to which they can be extracted from the database. A possible implementation of such a link is described previously.
  • Video servers 3210 are connected to a global communications network 360, such as the Internet. Formed data object potential The danger is sent by the video server via the communication network 360 to the subsystem 330 for storage and secondary processing of video data, preferably with a request to save it in the subsystem 330 for storage and secondary processing of video data.
  • a global communications network 360 such as the Internet. Formed data object potential The danger is sent by the video server via the communication network 360 to the subsystem 330 for storage and secondary processing of video data, preferably with a request to save it in the subsystem 330 for storage and secondary processing of video data.
  • the storage and secondary data processing subsystem 330 includes one or more object servers 3310 connected to a network 360 with the ability to communicate with video servers
  • Each object server 3310 is configured to save and modify received data objects of potential danger.
  • the object server 3310 has a data storage device (a) where potential hazard data objects are stored, and the object server 3310 compares the received potential hazard data object with previously stored potential hazard data objects.
  • a potential hazard data object may be received by the server 3310 from the video monitoring control and video processing primary subsystem 320, as described previously, or from another component of the forest video monitoring system 300, for example, from the operator terminal 340 using the manual approach described above. It should be noted that the operation of the object server 3310 does not depend on which specific source the potential hazard data object is received from.
  • the object server 3310 can correct as a newly arrived data object a potential dangerous of existing objects of potential hazard data, if there is a relationship between the newly arrived and which (and) any of the existing data objects of potential danger.
  • the object server 3310 corrects the characteristics of the identified data object based on the characteristics of the obtained data object. If the data objects corresponding to the received potential hazard data object are not among the previously stored potential hazard data objects, then the object server 3310 stores the received data object in its storage device as a new potential hazard data object.
  • the operation of the object server 3310 described above is illustrated further on the basis of an example of detecting one VET from two video cameras controlled by different video servers, which is described with reference to FIG. four.
  • each of the two video servers makes a decision about the presence of signs of a potentially dangerous object in the frame and creates the corresponding data object of potential danger. Further, each of them reports on the finding of VET to the objective server by sending to it a generated data object of potential danger.
  • the object server stores the first received data object of potential danger, and on the basis of the second received data object of potential danger decides information about updating the characteristics of the stored first data object, instead of saving the second data object of potential danger.
  • at least some of the parameters constituting the potential hazard data object which are given above, can be adjusted.
  • each object server 3310 can be configured to maintain and save a history of all changes to potential hazard data objects that it manages, including after deleting objects (for example, by an operator).
  • Each object server 3310 sends stored data objects of potential danger to the computer terminals 340 of the operators connected to the global communication network 360, which sending can be done on request or automatically.
  • the client application installed in each of the operator terminals 340 is configured to receive potential hazard data objects from the storage and secondary data processing subsystem 330 and present the resulting potential hazard data objects to the operator, preferably by visualization on the display screen in the GUI associated with the client application.
  • the client application is configured to visualize for the operator in the corresponding area of his GUI an interactive list of potential hazard data objects received from accessible object servers.
  • the operator can select a potential hazard data object from their list using a known input device such as a mouse.
  • the client application sends via the network 360 to the corresponding video server a request for multimedia data associated with this data object and associated metadata.
  • the potential hazard data object includes a link to the captured video data and associated metadata associated with it.
  • the requested multimedia data for example, video and VET photographs
  • the video server from the database, together with descriptive metadata, and transmitted through the 360 network to a terminal where the user can view in the GUI of the client application them.
  • the user when the user is thus viewed It creates archived video data, it also provides metadata in the GUI that shows, in particular, when and where the camera “looked” when filming.
  • the thumbnails associated with them can be represented in the GUI accordingly.
  • the client application additionally provides the operator with the opportunity, according to the viewing results, to confirm or not confirm a possible fire, which is signaled by the visualized object of potential hazard data.
  • This functionality can be obviously implemented in the GUI.
  • the aforementioned status can be changed as part of the potential hazard data object, which when it was created was set by default to “not confirmed by a man ' * , to“ confirmed by a man ”.
  • GUI of the client application may, in a known manner, provide for the possibility of deleting the object (s) of potential hazard data presented in an interactive list (for example, if the operator has determined that the potential hazard data object corresponds to false triggering a computer vision system).
  • the proposed forest video monitoring system 300 includes one or more user environment servers 350 connected to a communication network 360.
  • Environment servers 350 provide users with the ability to log into the system, and also store associated with users the data that the system needs to properly configure the user's environment when working.
  • environment servers provide control and configuration of operators' access to the components and resources of the forest video monitoring system 300 through client applications installed neither on their computers 340, and also provide, together with client applications, data routing necessary for operators to work.
  • the video monitoring control and primary video processing subsystem 320 further comprises a video server controller 3230 connected to the communication network 360 for controlling the operation of the video server farm 3210.
  • the video server controller 3230 is configured to dynamically redistribute the load between the video servers of the video server farm.
  • the video server 3210 receives from the video server controller 3230 a list of video monitoring points 310 assigned to it for servicing.
  • the controller 3230 video server is configured to dynamic reassignment of video monitoring points to video servers depending on the computational load on video servers and the distribution of data traffic.
  • the video server 3210 continuously monitors its list of video monitoring points for changes by the controller 3230 video servers.
  • the 3210 video server determines the list of video monitoring points (cameras) for which it is responsible, and starts continuous monitoring of this list, in case it changes in the course of further work.
  • the list of monitored cameras changes during the operation of the video server, new control streams for video cameras for cameras that fall within the boundaries of the responsibility of this video server are created, or existing streams are destroyed if any cameras leave the circle of responsibility of the video server.
  • Continuous monitoring of the list allows system administrators to quickly transfer camera processing from one video server to another, thus balancing the load on communication channels, computing resources and, if necessary, replacing a failed video server with a partial use of available free capacities of several working video servers. This, in particular, allows, in the case of available video server resources, to reduce the inoperability of video cameras due to a failed processing video server to several tens of seconds.
  • diagnostic and analysis tools for current and average statistics may be provided load on video servers.
  • diagnostic tools are widely known in the art and can be implemented as software, for example, in a 3230 video server controller.
  • the forest video monitoring system 300 provides a variety of functionalities for managing, configuring and operating the system, which are provided through a client application in computer 340.
  • a “client application” does not necessarily mean the same client application that used by the operator to work with data objects of potential danger according to the above statement - this can be a separate application, which is available in the system only for I have a human ad- ministratora.
  • functionality may be provided for (re) assigning video cameras to video servers for servicing, setting a plurality of object servers and (re) assigning the area of responsibility of each of the object servers, (re) assigning for each an operator of a list of available object servers and a list of available video servers, etc.
  • Corresponding configuration settings can be stored on the environment servers 350, including in the form of user profiles downloaded from the environment server 350 to the operator’s computer 340 when it logs in or when the computer 340 starts up.
  • functional capabilities are provided the visualization in the GUI of the list of object servers available to the operator, the list of video servers available to the operator and the list of available cameras serviced by these video servers.
  • the specified visualization can be carried out in conjunction with the service environment of users.
  • the client application can determine the services and system components with which it needs to interact to perform user tasks, can be performed not only when the application starts or the operator logs into the system
  • the forest video monitoring system can be structurally organized on a regional basis. So, for the region the object server (s) serving it, video cameras, objects (for example, towers, etc.) are assigned, the operators tracking it are determined, and a group of video servers is assigned, directly or indirectly, by determining the cameras belonging to the region. As a result, the user can access system resources belonging only to the respective region.
  • the client application may also provide functionality to enable the operator to directly access video data coming in real time from any one of the available video cameras, or to saved video data previously captured by any of available cameras, in order to view them, as well as the functional control capabilities of any of the available cameras, which functionalities are, in general, characteristic of classic video surveillance systems. This aspect is discussed in more detail below.
  • FIG. 5 The general diagram of the interaction of the client application with the components of the system 300, in terms of the data it receives, is shown in FIG. 5.
  • the low-level aspects of all of the servers of the system 300 are essentially similar to the low-level aspects of the server 140 of the classic forest video monitoring system 100.
  • the configuration of these servers to perform the functions of the present invention described above is carried out by installing specialized software on them, which, when executed, instruct the corresponding server to perform the corresponding functions.
  • This can be independently developed software, including using commercially and generally available programming environments, libraries, APIs and packages, custom software, or a combination of the above.
  • Communication networks and The data / signals exchanged through them can be implemented on the basis of any suitable network solutions and technologies.
  • FIG. .6 an example of the territorial location of the proposed system is given.
  • the figure shows three geographically distant from each other groups of cameras.
  • the communication infrastructure would have to ensure the transportation of video data from all video cameras to this server. In fact, this would mean having high throughput channels throughout the country, which is de facto difficult to implement.
  • video servers are located in the immediate logical vicinity of the video monitoring points and are connected to them by high-capacity local channels. In doing so, with the rest of the system
  • video servers are connected by channels with not so high bandwidth, because, in accordance with the above, due to the applied video content filtering, the information flow generated by the video server is an order of magnitude smaller than stream from camcorders. So, for the purpose of comfortable operation of the system, for connecting a video server
  • 3210 to a 360 network, a 3 Mbps wide channel is sufficient, whereas, according to the above, a VPN that locally connects the 3210 video server with 310 video monitoring points served by it provides a throughput of 30 Mbps and higher. Due to the organization of data processing in accordance with the present invention, the system, its proper functioning will be ensured even with the width of the external channel from the video server at 512 kbps.
  • the possibility of territorial and logical distribution of video and object servers according to the present invention provides not only flexibility in planning the deployment of the system taking into account the existing communication infrastructure, but also allows to optimize the operating costs of maintaining the servers, as it allows you to deploy services on sites on which the ratio of price / reliability / capacity of the infrastructure is optimal.
  • the video camera is positioned at the video monitoring point 310 in accordance with a predetermined patrol route of the territory, and video recording is started.
  • the video server 3210 receives the video data from the video camera and, at step 7030, analyzes the video data to detect signs of fire.
  • the route can be re-run (return to step 7010) or the camera can be repositioned to a new route.
  • the video server 3210 at step 7050 If signs of fire are detected (branch "Yes” at step 7040), the video server 3210 at step 7050 generates a data object of potential danger for the detected potential fire, with by linking to video data where signs of fire were detected, and metadata describing the shooting characteristics of video data.
  • the video server 3210 sends the generated potential hazard data object to the object server
  • the object server 3310 receives the potential hazard data object and, in step 7080, compares the received data object with previously stored potential hazard data objects to identify potential hazard data objects corresponding to the received potential hazard data object.
  • the object server 3310 at step 7100 stores the received data object.
  • the object server 3310 corrects the parameters of the detected data object based on the parameters of the received potential hazard data object, without saving the received data object.
  • the object server 3310 sends one or more potential hazard data objects to the operator computer terminal 340.
  • an interactive list is visualized for the operator in the GUI of the client application on the computer terminal 340 potential hazard data objects received from object servers 3310.
  • the operator accesses the potential hazard data object from a list of them, as a result of which, at step 7150, the client application requests multimedia data associated with this potential hazard data object and associated metadata on the corresponding video server 3210.
  • the client application visualizes the received multimedia data and associated metadata for analysis by the operator.
  • the operator confirms or does not confirm a possible fire in his client application, which is signaled by the data object of potential danger.
  • FIG. 8 illustrates a dynamic aspect of an example of a system functioning when the same VET is found by two video cameras controlled by different video servers, which was discussed above with reference to FIG. four.
  • the two-stage scheme proposed in this application allows you to perform the most resource-intensive part of the work (in fact, analyzing a video sequence using a computer vision system) on video servers, the computing power of which is scaled by the introduction of new video servers and balanced due to the redistribution of responsibility for camera management, which will be discussed in more detail below.
  • decisions are made by object servers based on the processing results, full of video servers.
  • This stage requires much less computational resources, and this fact allows us to reduce notification flows from multiple video servers to one object server and make decisions based on information from hundreds or even thousands of cameras.
  • FIG. 9 illustrates the direct operation with a video camera from a client application on the operator’s computer.
  • the client application provides the operator with the opportunity to work directly with the video material.
  • the client application After initialization, the client application has information about which of the cameras available to the operator are served by those or other video servers. All user scenarios with multimedia data in the system are reduced to two modes of working with the camera:
  • the video server In case of direct access to the video camera, the video server must be notified of the operator’s desire to obtain such access, since the video server itself must stop its own work with camera (stop re-positioning the camera and remove the video stream), as well as put the camera in a mode that prevents other users from providing such access. Thus, the operation of the system according to the present invention (for example, in accordance with FIG. 7) is suspended.
  • the camera is also controlled through a video server to unify access to cameras and to control access (see Fig. 11). Indeed, only one user should be allowed direct access to the camcorder, since in the opposite case a control conflict may be provoked, and also due to the need to transmit two video streams, the access channel to the camera may be overloaded. Moreover, the time that the server holds the camera in this mode is limited. If the user application does not confirm the extension of the camera in direct access mode, the camera is considered to be switched to automatic operation mode.
  • FIG. 12 shows the commissioning of a new video server to illustrate the scalability of the system.
  • the process consists of two stages: configuring the video server itself, during which it turns to the controller for a list of cameras for servicing, and initializing the video server, during which it determines the availability of the cameras entrusted to it for servicing.
  • client applications are informed of the fact of the start of servicing cameras assigned to the video server.
  • the video server informs the client applications about the status of the cameras and their readiness to fulfill user requests for the cameras that he serves.
  • system administrators have the opportunity to either rigidly tie the service of a particular camera to a video server, or to indicate that the camera is served by any video server that has resources, in which case the video server controller independently decides which video server should serve such a camera .
  • FIG. Figure 13 shows the transfer of camera maintenance from one video server to another to illustrate the convenience of the system.
  • the transfer of service is accompanied by a notification to the donor video server that the video camera will be removed from its service area, after which the donor video server immediately stops servicing this camera, and a notification to the acceptor video server that the list of cameras served by it has also changed ( see Fig. 13).
  • a notification to the acceptor video server that the list of cameras served by it has also changed see Fig. 13.
  • Such reconfiguration is accompanied by a short-term (several tens of seconds) decommissioning of the camera.
  • the proposed distributed architecture of the video monitoring system has a certain degree of component unification, which positively affects the reliability and cost of its operation. Indeed, due to the possibility of quickly reassigning the cameras that they serve to the video servers, it is possible to quickly input / output video servers from the system, as well as reconfigure the system to redistribute the computing load. This fact has a direct impact on the cost of operating a video server farm. Indeed, since video servers do not contain data critical for the user and the functioning of the system, and the system has the ability to quickly changes in the video camera maintenance scheme, the requirements for the reliability of video servers can be reduced, and the reliability of the system as a whole will not be reduced due to the possibility of quick replacement of failed video servers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Изобретение относится к видеомониторингу леса. Предложена распределенная система видеомониторинга леса и способ обнаружения возгорания. Система содержит: множество видеосерверов, где каждый видеосервер обслуживает одну или более видеокамер; один или более объектных серверов; и множество компьютерных терминалов. Видеосервер принимает видеоданные от видеокамеры, выполняет анализ видеоданных для выявления признаков возгорания, формирует объект данных потенциальной опасности, относящийся к выявленному возможному возгоранию, с привязкой к видеоданным, и посылает сформированный объект данных в объектный сервер, который сопоставляет принятый объект данных с ранее сохраненными объектами данных потенциальной опасности, и по результатам выполняет по меньшей мере одно из: сохранения принятого объекта данных, модифицирования по меньшей мере одного из ранее сохраненных объектов данных и модифицирования принятого объекта данных; и посылает один или более объектов данных потенциальной опасности в компьютерный терминал, который представляет оператору полученные объекты данных потенциальной опасности.

Description

РАСПРЕДЕЛЕННАЯ АРХИТЕКТУРА СИСТЕМЫ ВИДЕОМОНИТОРИНГА ЛЕСА
Область техники, к которой относится изобретение
Настоящее изобретение относится, в целом, к области видеона- блюдения и, более конкретно, к распределенной архитектуре системы видеомониторинга леса, которая, в общем, обеспечивает возмож- ность вести мониторинг больших лесных территорий с определением координат обнаруживаемых объектов при помощи оптической пассив- ной локации с целью раннего обнаружения лесных пожаров для их дальнейшей локализации и тушения.
Предшествующий уровень техники
Системы видеомониторинга леса, предназначенные для обнаруже- ния и определения местоположения лесных пожаров, стали приме- няться сравнительно недавно. Тем не менее, их актуальность все возрастает, поскольку проблема лесных пожаров по праву может считаться одной из наиболее серьезных и нерешенных в настоящий момент человеком проблем. Лесные пожары возникают и приносят огромный ущерб во многих странах мира, свидетельством чему могут служить лесные пожары на территории Российской Федерации летом 2010 г., имевшие катастрофические последствия, в том числе и по причине невыполнения их раннего обнаружения и определения их ме- стоположения, о чем многократно и развернуто говорилось в сред- ствах массовой информации.
Ниже, со ссылкой на Фиг. 1, приведена иллюстрация базовой структуры "классической" системы видеомониторинга леса . Известны- ми примерами таких систем видеомониторинга леса являются системы ForestWatch (Канада) , IPNAS (Хорватия) , Fire atch (Германия) .
Схожие системы разработаны и в Российской Федерации, например "Клен", "Балтика".
Иллюстрируемая на Фиг. 1 система 100 видеомониторинга леса в общем случае включает в себя множество дистанционно управляемых точек видеомониторинга 110 и связанные с ними одно или более ав- томатизированных рабочих мест 120 оператора для надлежащей экс- плуатации точек видеомониторинга 110.
Оборудование 120 автоматизированного рабочего места операто- ра, в общем, реализуется на основе широко известных компьютерных и коммуникационных технологий и, в типичном случае, содержит вы- полненный с возможностью удаленного обмена данными компьютер с установленным на нем специализированным программным обеспечением и программным обеспечением общего назначения. Аппаратные сред- ства и программное обеспечение общего назначения (например, опе- рационная система) из состава такого компьютера являются широко известными в технике. При этом, под понятием "компьютер" может пониматься персональный компьютер, ноутбук, совокупность связан- ных между собой компьютеров и т.п. с характеристиками, отвечаю- щими требованиям, предъявляемым к системе 100. К компьютеру под- ключено дисплейное устройство, отображающее при работе компьюте- ра ассоциированный со специализированным приложением графический пользовательский интерфейс (GUI) , посредством которого оператор выполняет работу по визуальному мониторингу территории и управ- лению точками 110 видеомониторинга. Взаимодействие с элементами графического пользовательского интерфейса осуществляется с помо- щью широко известных устройств ввода, подключенных к компьютеру, таких как клавиатура, мышь и т.п.
Каждая точка 110 видеомониторинга, по сути, представляет со- бой оборудование 111 передающей стороны, размещенное на высотном сооружении 112. Высотное сооружение 112, в общем, может пред- ставлять собой любое высотное сооружение, удовлетворяющее нала- гаемым на систему 100 требованиям (т.е. приспособленное для раз- мещения оборудования передающей стороны на достаточной высоте и обеспечивающее возможность осматривать достаточно большую терри- торию) , и обычно представляет собой вышку провайдера связи, выш- ку оператора сотовой связи, телевизионную вышку, вышку освещения или .п.
Обобщенным термином "оборудование передающей стороны" 111 обозначается размещенная на высотном сооружении 112 аппаратура, содержащая управляемое видеоустройство 113 и коммуникационный модуль 114 для осуществления связи/обмена данными с рабочим ме- стом(ами) 120 оператора.
Управляемое видеоустройство 113, в общем случае, представля- ет собой цифровую видеокамеру 115, оснащенную трансфокатором 116 и смонтированную на поворотном устройстве 117, посредством кото- рого можно механически менять пространственную ориентацию видео- камеры 115 с высокой точностью.
Оборудование 111 передающей стороны также содержит устрой- ство 118 управления видеокамерой, связанное с коммуникационным модулем 114, видеокамерой 115, трансфокатором 116 и поворотным устройством 117 и предназначенное для общего управления функция- ми управляемого видеоустройства 113 в целом и его компонентов в частности. Так, по приему управляющих сигналов от оператора че- рез коммуникационный модуль 114 устройство 118 управления при- способлено задавать требующуюся пространственную ориентацию ви- деокамеры 115 (например, для наведения ее на объект, наблюдение которого требуется), управляя поворотным устройством 117, и/или выполнять приближение/удаление изображения наблюдаемого с нее объекта, управляя трансфокатором 116. Помимо этого, устройство
118 управления приспособлено определять текущую пространственную ориентацию видеокамеры 115 и выдавать данные о текущей ее про- странственной ориентации через коммуникационный модуль 11 за- прашивающей стороне (в частности, на рабочее место 120 операто- ра, где эти данные, например, отображаются в GUI) . Перечисленные здесь функциональные возможности являются известными свойствами современных комплектов управляемых видеокамер, предлагаемых на рын е .
Устройство 118 управления, в общем, представляет собой оче- видный для специалиста основывающийся на микропроцессорах аппа- ратный блок типа контроллера, микрокомпьютера и т.п., известным образом запрограммированный и/или программируемый для выполнения предписанных ему функций. Программирование устройства 118 управ- ления может осуществляться, например, путем записи ("прошивки") его микропрограммного обеспечения ("firmware") , что является ши- роко известным в технике. Соответственно, с устройством 118 управления видеокамерой, в типичном случае, связано запоминающее устройство (например, интегрированная флэш-память), в которой хранится соответствующее (микро) программное обеспечение, испол- нением которого реализуются ассоциированные с устройством 118 управления функции.
Рабочие места 120 оператора могут быть связаны с точками 110 видеомониторинга как напрямую, так и посредством сети связи
(например, сети 130) с использованием широко известных и исполь- зуемых проводных и/или беспроводных, цифровых и/или аналоговых коммуникационных технологий, при этом коммуникационный модуль
114 точки 110 видеомониторинга и коммуникационный интерфейс ком- пьютера рабочего места 120 оператора должны соответствовать ком- муникационным стандартам/протоколам, на основе которых строится такая связь .
Так, иллюстративная сеть 130, к которой подсоединены точки видеомониторинга и автоматизированные рабочие места 120 операто- ра, может представлять собой адресную сеть, такую как Интернет. При наличии на месте установки точки 110 видеомониторинга канала связи стороннего провайдера, что является распространенным слу- чаем, предпочтительно использовать этот канал для подключения оборудования 111 передающей стороны к Интернет. Если же в месте установки точки 110 видеомониторинга отсутствует возможность прямого подключения к сети Интернет, применяются широко извест- ные технологии беспроводной широкополосной связи (например, Wi- Fi, WiMAX, 3G и т.п.) для обеспечения связи между оборудованием 111 передающей стороны и точкой доступа в Интернет. Схожим обра- зом осуществляется подсоединение к сети 130 и рабочих мест 120 оператора. В частности, для подсоединения к сети 130 может ис- пользоваться, в зависимости от реализуемой технологии доступа, модем (в том числе, беспроводной) , сетевая интерфейсная плата (NIC), плата беспроводного доступа и т.п., внешние или внутрен- ние по отношению к компьютеру рабочего места 120 оператора.
Обычно система 100 также включает в себя подключенный к сети 130 сервер 140, которому делегируются функции централизованного управления совокупностью точек 110 видеомониторинга и их взаимо- действием с рабочими местами 120 оператора для обеспечения надежного функционирования системы 100. Сервер 140 в типичном случае представляет собой высокопроизводительный компьютер или совокупность связанных между собой компьютеров (например, стойку блейд-серверов ) с установленным на него (них) специализированным серверным программным обеспечением, имеющий (их) высокоскоростное (например, оптическое) соединение с Интернет. Аппарат- ная/программная реализация такого сервера является очевидной для специалиста. Помимо общих функций управления системой 100, сер- вер 140 может осуществлять и различные узкоспециализированные функции — например, он может выполнять функции видеосервера, обеспечивающего сбор и промежуточную обработку данных и предо- ставление их пользователю по запросу.
При таком способе организации системы видеомониторинга леса один пользователь может проводить мониторинг подконтрольной тер- ритории, одновременно управляя несколькими видеокамерами. Кроме того, за счет описанных выше характерных функциональных возмож- ностей обеспечивается возможность автоматического быстрого опре- деления местоположения очага возгорания при видимости с несколь- ких видеокамер, используя широко известный угломерный метод, а также хранение в памяти (например, на сервере 140 или в компью- тере рабочего места 120 оператора) заранее определенных маршру- тов патрулирования для быстрого доступа к ним и выполнения мони- торинга . Здесь под "маршрутом патрулирования" понимается заранее определенная последовательность изменения ориентации камеры, предназначенная для получения визуальной информации по требуемой предопределенной территории.
Необходимо заметить, что производительность современных электронных аппаратных средств позволяет создавать на их основе устройства визуализации и управления из состава компонентов си- стемы видеомониторинга леса с достаточно широкой пользователь- ской функциональностью, что существенно упрощает работу операто- ра . Кроме того, современные аппаратные средства, с помощью спе- циального исполняемого ими программного обеспечения, могут взять на себя некоторые функции по автоматическому обнаружению потен- циально опасных объектов на видео или фото изображениях, получа- емых с видеокамер (при мониторинге леса такими объектами может быть дым, пожар и т.п.) - Такие системы компьютерного зрения для поиска на изображении опасных объектов могут использовать апри- орную информацию об особенностях дыма или огня, например, специ- фичное движение, цвет, яркость и т.п. Подобные системы компью- терного зрения применяются во многих отраслях промышленности, начиная от робототехники до охранных систем, что достаточно по- дробно изложено, например, в публикации "Компьютерное зрение. Со- временный подход", Д. Форсайт, Ж. Понс, издательство "Вильяме", 2004, 928 с.
Такая интеллектуальная подсистема, реализующая указанные технологи компьютерного зрения, в общем может быть реализована и на рабочем месте 120 оператора, и на сервере 140, и даже в самом управляемом видеоустройстве 113.
Выше представлено обобщенное структурное описание классиче- ской системы видеомониторинга леса, принцип действия которой ос- нован на использовании управляемых видеокамер. Дополнительные её аспекты, связанные непосредственно с определением и обработкой координат обнаруживаемых объектов, более подробно отражены, в частности, в патентных публикациях RU 2458407, 0 2012/118403.
Стоит отметить, что создание и разворачивание подобных си- стем видеомониторинга леса стало возможным только в последние годы. Только сейчас количество вышек сотовой связи стало тако- вым, что покрываются основные пожароопасные места. Кроме того, стали существенно более доступными услуги широкополосного Интер- нета, позволяющие осуществлять обмен большими объемами информа- ции и передавать через Интернет видео реального времени, и уменьшилась стоимость оборудования для обеспечения беспроводной связи на большие расстояния.
Однако, в контексте актуальнейшей задачи мониторинга больших территорий (т.е., масштаба субъекта федерации или страны) при построении системы видеомониторинга леса следует учитывать сле- дующие существенные проблемы.
Требующееся большое количество поворотных камер в составе системы затрудняет процесс визуального контроля территории: например, оператор может пропустить участок, который обозревает- ся камерой, тогда как следующий осмотр данного участка может произойти через длительное время. Следовательно, должны быть ис- пользованы системы автоматизации и автоматического обнаружения, при этом такая автоматизация процесса обнаружения требует значи- тельных вычислительных ресурсов и передачу больших объемов дан- ных .
Однако, простое наращивание вычислительных мощностей в рас- сматриваемом контексте не является панацеей, поскольку исключи- тельно сложной задачей становится обеспечение соответствующей коммуникационной инфраструктуры для передачи данных от точек ви- деомониторинга (например, таких как точки видеомониторинга 110 на Фиг. 1) на компьютеры рабочих мест операторов (120) и/или сервер (140) в виду того, что для потребной коммуникационной ин- фраструктуры, по сути, неотъемлемым образом характерна значи- тельная пространственная разнесенность и сильная неоднородность .
Так, на текущий момент техническая возможность подключения точек видеомониторинга к сетям передачи данных, как правило, весьма ограничена. В частности, для трансляции видеопотока с ви- деокамеры стандарта FullHD по умолчанию подразумевается наличие канала связи с пропускной способностью около 4 Мбит/с, однако, в некоторых местах на пути от камеры до оператора предусмотрены лишь каналы связи с пропускной способностью порядка 100 кбит/с, что автоматически означает невозможность прямой организации ви- деонаблюдения .
В канве вышеуказанных проблем, возникающих при решении зада- чи мониторинга больших территорий, становится очевидной слабая пригодность классических систем видеомониторинга леса, описанных выше .
Так, в силу "локальной" направленности классических систем видеомониторинга принципы их построения не подразумевают доста- точной гибкости и предполагают наличие одного сервера, на кото- ром выполняется вся обработка данных. Такой подход, в свою оче- редь, предполагает, что коммуникационная инфраструктура должна быть такова, что ее характеристик достаточно для транспорта дан- ных от видеокамер, их анализа и доставки результатов анализа ко- нечному потребителю. Как было сказано выше, опыт построения си- стем мониторинга больших территорий говорит, что коммуникацион- ная инфраструктура, сильно разнесенная географически, всегда имеет узкие места (т.е. участки с недостаточной пропускной спо- собностью) , которые снижают эффективность доставки данных в це- лом. Только этот факт делает применение классических схем по- строения систем видеомониторинга нецелесообразным для больших территорий как с технической, так и с экономической точки зре- ния, поскольку для устранения таких узких мест предполагается масштабная организация новых высокоскоростных каналов связи, включая развертывание нового оборудования и т.п., и/или дорого- стоящая аренда имеющихся сторонних высокоскоростных каналов свя- зи .
Кроме того, при подразумеваемой интенсивной автоматизирован- ной обработке видеоданных, сосредоточение такой обработки на од- ном сервере также является проблемой в силу ограниченности вы- числительных ресурсов единичного сервера.
В качестве иллюстрации вышесказанного, на Фиг. 2 примерно показана потребность различных компонентов классической системы
100 видеомониторинга леса по Фиг. 1 в каналах связи, где ширина стрелки условно соответствует потребной пропускной способности входного/выходного канала связи (не в масштабе). В данном случае под "Интернет" подразумевается некоторая цифровая сеть передачи данных, которая фактически не имеет ограничений по скорости.
Таким образом, в технике имеется потребность в построении распределенной архитектуры системы видеомониторинга леса на большой территории, которая обеспечивает эффективную организацию трафика данных, устраняя необходимость повсеместного использова- ния дорогостоящих высокоскоростных каналов на подконтрольной большой территории, а также обеспечивает возможность гибкого управления вычислительными ресурсами, необходимыми для анализа полученных данных .
Сущность изобретения
Задачей настоящего изобретения является создание распреде- ленной системы видеомониторинга леса с эффективной организацией трафика данных и обеспечением возможности гибкого управления вы- числительными ресурсами, а также способа автоматизированного об- наружения возгорания, осуществляемого данной системой.
Согласно соответствующему этой задаче аспекту, предложена система видеомониторинга леса. Предлагаемая система содержит множество точек видеомониторинга, каждая из которых содержит ви- деокамеру на высотном сооружении.
Система видеомониторинга леса также содержит подсистему управления видеомониторингом и первичной обработки видеоданных, содержащую один или более видеосерверов. Каждому видеосерверу назначены одна или более точек видеомониторинга из упомянутого их множества для управления видеокамерами этих одной или более точек видеомониторинга. Каждый сервер связан с видеокамерами назначенных ему точек видеомониторинга посредством канала связи для получения видеоданных, снимаемых этими видеокамерами. Напри- мер, видеосерверы и видеокамеры назначенных им точек видеомони- торинга могут быть подсоединены к высокоскоростной виртуальной частной сети (VPN) .
Помимо этого, предлагаемая система содержит: подсистему хра- нения и вторичной обработки данных, содержащую один или более объектных серверов; а также один или более компьютерных термина- лов. Упомянутые видеосерверы, объектные серверы и компьютерные терминалы подсоединены к сети связи.
Каждый видеосервер выполнен с возможностью: выполнять анализ отснятых видеоданных для выявления признаков возгорания, при вы- явлении признаков возгорания, формировать объект данных потенци- альной опасности, относящийся к выявленному возможному возгора- нию, и посылать объект данных потенциальной опасности в подси- стему хранения и вторичной обработки видеоданных, предпочтитель- но, с запрашиванием сохранения этого объекта данных потенциаль- ной опасности в подсистеме хранения и вторичной обработки видео- данных .
Каждый объектный сервер выполнен с возможностью: сохранять и модифицировать объекты данных потенциальной опасности, и посы- лать объекты данных потенциальной опасности в компьютерные тер- миналы. Предпочтительно, объектный сервер получает объекты дан- ных потенциальной опасности из подсистемы управления видеомони- торингом и первичной обработки видеоданных.
На каждом терминальном компьютере установлено клиентское приложение для обеспечения взаимодействия оператора с подсисте- мой управления видеомониторингом и первичной обработки видеодан- ных и подсистемой хранения и вторичной обработки данных. Клиент- ское приложение сконфигурировано получать объекты данных потен- циальной опасности из подсистемы хранения и вторичной обработки данных и представлять объекты данных потенциальной опасности для оператора .
Согласно варианту осуществления, подсистема управления ви- деомониторингом и первичной обработки видеоданных дополнительно содержит одну или более баз данных, при этом каждый видеосервер выполнен с возможностью сохранять получаемые видеоданные, с при- вязкой к ассоциированным описательным метаданным, в связанной с ним базе данных из этих одной или более баз данных.
Согласно варианту осуществления, каждый видеосервер содержит компьютерно-реализованную систему компьютерного зрения для вы- полнения упомянутого анализа видеоданных. Система компьютерного зрения видеосервера извлекает видеоданные для анализа из связан- ной с ним базы данных. Система компьютерного зрения видеосервера при этом сконфигурирована формировать объект данных потенциаль- ной опасности по выявлении признаков возгорания в анализируемых видеоданных так, чтобы сформированный объект данных потенциаль- ной опасности был привязан к видеоданным, в которых были выявле- ны признаки возгорания, и ассоциированным метаданным, описываю- щим характеристики съемки этих видеоданных. Компьютерно- реализованная система компьютерного зрения предпочтительно вы- полнена с возможностью использования различных алгоритмов компь- ютерного зрения для обеспечения обнаружения признаков возгорания на различных типах камер и в различных условиях съемки . Согласно варианту осуществления, каждый объектный сервер до- полнительно выполнен с возможностью: сопоставлять полученный объект данных потенциальной опасности с ранее сохраненными объ- ектами данных потенциальной опасности в целях нахождения объек- тов данных потенциальной опасности, имеющих взаимосвязь с полу- ченным объектом данных потенциальной опасности. По результатам сопоставления объектный сервер выполнен с возможностью осуществ- лять по меньшей мере одно из сохранения полученного объекта дан- ных потенциальной опасности, модифицирования по меньшей мере од- ного из ранее сохраненных объектов данных потенциальной опасно- сти и модифицирования полученного объекта данных потенциальной опасности. Предпочтительно, объектный сервер выполнен с возмож- ностью, при выявлении среди ранее сохраненных объектов данных потенциальной опасности объекта данных потенциальной опасности, по существу, совпадающего с полученным объектом данных потенци- альной опасности, корректировать характеристики выявленного объ- екта данных потенциальной опасности на основе характеристик по- лученного объекта данных потенциальной опасности, без сохранения полученного объекта данных потенциальной опасности.
Согласно варианту осуществления, каждый объектный сервер вы- полнен с возможностью сохранения и поддержания всех изменений всех объектов данных потенциальной опасности, которые имеются на нем, в том числе и после удаления объектов данных потенциальной опасности .
Согласно варианту осуществления, подсистема управления ви- деомониторингом и первичной обработки видеоданных дополнительно содержит контроллер видеосерверов, подсоединенный к сети связи, для управления функционированием видеосерверов. Контроллер ви- деосерверов выполнен с возможностью динамического перераспреде- ления нагрузки между видеосерверами. Контроллер видеосерверов предпочтительно содержит средства диагностики и анализа текущей и среднестатистической нагрузки на видеосерверы, причем нагрузка включает в себя вычислительную нагрузку и нагрузку сетевого тра- фика. Видеосерверы получают списки точек видеомониторинга, назначенных им для обслуживания, от контроллера видеосерверов.
Контроллер видеосерверов предпочтительно выполнен с возможностью автоматически осуществлять динамическое переназначение точек ви- деомониторинга видеосерверам в зависимости от нагрузки на ви- деосерверы, тогда как каждый видеосервер предпочтительно выпол- нен с возможностью мониторинга своего списка точек видеомонито- ринга на предмет его изменения со стороны контроллера видеосер- веров .
Согласно варианту осуществления, предложенная система ви- деомониторинга леса дополнительно содержит один или более серве- ров окружения пользователей для контроля и конфигурирования до- ступа операторов к компонентам и ресурсам системы видеомонито- ринга леса через клиентские приложения, а также для маршрутиза- ции, совместно с клиентскими приложениями, данных, . необходимых операторам для работы. Каждое клиентское приложение сконфигури- ровано динамически определять, во взаимодействии с серверами окружения пользователей, и визуализировать для оператора инфор- мацию о доступных для оператора компонентах и ресурсах системы видеомониторинга леса. Клиентское приложение при этом сконфигу- рировано визуализировать для оператора список доступных для опе- ратора объектных серверов, список доступных для оператора ви- деосерверов и список доступных видеокамер, обслуживаемых этими видеосерверами. Клиентское приложение сконфигурировано при этом обеспечивать оператору возможность осуществлять доступ к видео- данным, поступающим в реальном времени с любой одной из доступ- ных ему видеокамер, или к сохраненным видеоданным, ранее отсня- тым какой-либо из доступных видеокамер, а также управлять рабо- той какой-либо из доступных видеокамер.
Согласно варианту осуществления, каждое клиентское приложе- ние сконфигурировано: визуализировать для оператора список объ- ектов данных потенциальной опасности, полученных от объектных серверов; при обращении оператора к какому-либо объекту данных потенциальной опасности из списка объектов данных потенциальной опасности, запрашивать хранящиеся в базе данных видеоданные, связанные с этим объектом данных потенциальной опасности, и ас- социированные метаданные на соответствующем видеосервере; визуа- лизировать упомянутый объект данных потенциальной опасности для оператора путем визуализации полученных видеоданных и ассоцииро- ванных метаданных; и обеспечивать оператору возможность подтвер- ждать или .не подтверждать возможное возгорание, о котором сигна- лизируется визуализируемым объектом данных потенциальной опасно- сти .
Согласно варианту осуществления, клиентское приложение вы- полнено с возможностью назначения точек видеомониторинга ви- деосерверам и/или с возможностью назначения территориальной об- ласти ответственности каждому из объектных серверов. В соответствии с реализуемым предлагаемой системой видеомо- ниторинга леса способу обнаружения возгорания, посредством ви- деосервера из множества видеосерверов: принимают видеоданные от по меньшей мере одной видеокамеры; выполняют анализ видеоданных для выявления признаков возгорания; при выявлении признаков воз- горания, формируют объект данных потенциальной опасности, отно- сящийся к выявленному возможному возгоранию, с привязкой к ви- деоданным, в которых были выявлены признаки возгорания, и, пред- почтительно, с дополнительной привязкой к метаданным, описываю- щим характеристики съемки видеоданных; и посылают объект данных потенциальной опасности в по меньшей мере один из объектных сер- веров .
Посредством объектного сервера: принимают объект данных по- тенциальной опасности; сопоставляют принятый объект данных по- тенциальной опасности с ранее сохраненными объектами данных по- тенциальной опасности; по результатам сопоставления выполняют по меньшей мере одно из сохранения принятого объекта данных потен- циальной опасности, модифицирования по меньшей мере одного из ранее сохраненных объектов данных потенциальной опасности и мо- дифицирования принятого объекта данных потенциальной опасности; и посылают один или более объектов данных потенциальной опасно- сти в по меньшей мере один компьютерный терминал.
Посредством компьютерного терминала: принимают объекты дан- ных потенциальной опасности и представляют объекты данных потен- циальной опасности для оператора.
Согласно варианту осуществления, при выявлении по результа- там упомянутого сопоставления среди ранее сохраненных объектов данных потенциальной опасности объекта данных потенциальной опасности, по существу, совпадающего с принятым объектом данных потенциальной опасности, модифицируют выявленный объект данных потенциальной опасности на основе принятого объекта данных по- тенциальной опасности, без сохранения принятого объекта данных потенциальной опасности.
Согласно варианту осуществления, предложенный способ допол- нительно содержит этапы, на которых, посредством компьютерного терминала: визуализируют для оператора список объектов данных потенциальной опасности, полученных от объектных серверов; при обращении оператора к какому-либо объекту данных потенциальной опасности из списка объектов данных потенциальной опасности, за- прашивают видеоданные, связанные с этим объектом данных потенци- альной опасности, и ассоциированные метаданные на соответствую- щем видеосервере; визуализируют упомянутый объект данных потен- циальной опасности для оператора путем визуализации полученных видеоданных и ассоциированных метаданных; и обеспечивают опера- тору возможность подтверждать или не подтверждать возможное воз- горание, о котором сигнализируется визуализируемым объектом дан- ных потенциальной опасности.
Перечень фигур чертежей
Вышеуказанные и иные аспекты и преимущества настоящего изоб- ретения раскрыты в нижеследующем подробном его описании, приво- димом со ссылками на фигуры чертежей, на которых:
Фиг. 1 — схематическая частичная иллюстрация системы ви- деомониторинга леса; Фиг. 2 — иллюстрация потребности компонентов системы 100 по
Фиг. 1 в каналах связи;
Фиг. 3 — общая иллюстрация системы видеомониторинга леса со- гласно настоящему изобретению;
Фиг. 4 — иллюстрация обнаружения одного потенциально опасно- го объекта с двух видеокамер;
Фиг. 5 — иллюстрация общей схемы взаимодействия клиентского приложения с компонентами системы 300 по Фиг. 3;
Фиг. 6 — иллюстрация территориальной структуры системы 300 по Фиг . 3 ;
Фиг. 7 — логическая блок-схема способа обнаружения возгора- ния согласно предпочтительному варианту осуществления настоящего изобретения;
Фиг. 8 — иллюстрация обмена сообщениями для примера по Фиг . 4 ;
Фиг. 9, 10 — иллюстрация непосредственной работы с видеока- мерой из клиентского приложения;
Фиг. 11 — иллюстрация управления видеокамерой через ви- деосервер;
Фиг. 12 — иллюстрация ввода в эксплуатацию нового видеосер- вера;
Фиг. 13 — иллюстрация переноса обслуживания видеокамер с од- ного видеосервера на другой. Подробное описание изобретения
Согласно настоящему изобретению, предлагаемая распределенная архитектура системы видеомониторинга леса включает в себя следу- ющие основные компоненты:
• распределенные точки видеомониторинга;
• подсистема управления видеомониторингом и первичной обработ- ки видеоданных;
• подсистема хранения и вторичной обработки данных;
• компьютерные терминалы операторов .
Аспекты предлагаемой архитектуры, в части точек видеомонито- ринга, каждая из которых содержит сетевую видеокамеру на высот- ном сооружении, аналогичны соответственным аспектам классической системы 100 видеомониторинга леса, раскрытой выше со ссылкой на Фиг. 1.
Также, низкоуровневые аспекты компьютерных терминалов из со- става заявляемой системы аналогичны соответственным аспектам компьютеризированных рабочих мест 120 операторов системы 100. При этом, как было сказано ранее, на каждом терминальном компью- тере установлено клиентское приложение для обеспечения взаимо- действия оператора с подсистемой управления видеомониторингом и первичной обработки видеоданных и подсистемой хранения и вторич- ной обработки данных.
Ниже со ссылкой на Фиг. 3 будет подробно описан предпочти- тельный вариант осуществления распределенной системы 300 ви- деомониторинга леса согласно настоящему изобретению. Подсистема 320 управления видеомониторингом и первичной об- работки видеоданных содержит один или более видеосерверов 3210, которые все в совокупности рассматриваются как ферма видеосерве- ров .
Каждому видеосерверу 3210 назначены одна или более точек 310 видеомониторинга для управления их видеокамерами и получения снимаемых ими видеоданных. Под "управлением" в данном случае по- нимаются, в том числе, присущие вышеописанной классической си- стеме видеомониторинга леса аспекты задания для видеокамеры маршрута патрулирования, пространственной ориентации и зума (например, для наведения на конкретный объект на местности) , ка- либровки и т.п.
Поскольку подразумевается получение с видеокамер больших объемов данных, в том числе, в реальном времени, видеосерверы 3210 географически размещаются так, чтобы видеосерверы были свя- заны с ' соответственными точками 310 видеомониторинга посредством каналов связи с достаточной пропускной способностью (например, шириной, по меньшей мере, в 4 Мбит/с, как сказано выше) . Образно говоря, видеосерверы 3210 размещаются в непосредственной "логиче- ской близости" от своих соответственных точек 310 видеомониторин- га . К примеру, видеосервер 3210 может быть известным для специа- листа образом соединен с назначенными ему точками видеомонито- ринга посредством высокоскоростной виртуальной частной сети (VPN) , где скорость между видеосервером и массивом камер состав- ляет 30 Мбит/с и выше. При этом, видеосервер 3210 может быть сконфигурирован с возможностью настройки таких параметров, как количество кадров в секунду, параметры сжатия видеопотока, тип снимаемой с видеокамеры информации и т.п., для обеспечения по- требной пропускной способности каналов связи с видеокамерами.
Каждый из видеосерверов 3210 принимает видеоданные, отснятые обслуживаемыми им видеокамерами.
Подсистема 320 управления видеомониторингом и первичной об- работки видеоданных может дополнительно включать в себя одну или более баз 3220 данных, с тем чтобы видеосерверы 3210 могли со- хранять в них данные и извлекать из них данные. Под понятием "ба- за данных" в данном случае понимается физическое хранилище инфор- мации большой емкости и хранимые в нем данные, организованные соответственным образом. Хотя базы 3220 данных на Фиг. 3 показа- ны отдельным по отношению к видеосерверам 3210 образом, для спе- циалиста должно быть очевидно, что, по меньшей мере, некоторые из баз 3220 данных могут быть интегрированы с соответственными видеосерверами 3210 (например, данные базы данных могут хранить- ся в запоминающем устройстве (ах) из состава сервера).
Каждый видеосервер 3210 предпочтительно сохраняет транслиру- емые с камер видеоданные в связанной с ним базе (ах) 3220 данных.
Согласно предпочтительному варианту осуществления, при про- хождении маршрута или системы маршрутов видеосервер 3210 посыла- ет на видеокамеру команду позиционирования камеры на заданную позицию съемки или перепозиционирования камеры на новую позицию съемки. При этом видеосервер 3210 фиксирует параметры съемки, такие как идентификатор видеокамеры, целевые азимутальный угол, угол склонения, раскрыв объектива, реальные азимутальный угол, угол склонения, раскрыв объектива, время съемки и т.п. По дости- жении видеокамерой желаемой позиции, камерой осуществляется ви- деосъемка и отснятые видеоданные посылаются на видеосервер 3210.
Отснятые видеоданные затем сохраняются видеосервером 3210 в базе 3220 данных вместе с зафиксированными параметрами съемки, которые составляют метаданные, ассоциированные с этим видеомате- риалом, используя при этом форматы и/или методы сжатия данных, которые широко известны в технике . Вышеперечисленные и другие возможные параметры, составляющие описательные метаданные, могут быть при этом логически организованы любым подходящим способом, известным, в частности, в области программирования (например, в структуру данных) .
Согласно предпочтительному варианту осуществления, сохране- ние видеоданных осуществляется следующим образом. Из отснятых видеоданных видеосервер 3210 известным образом фиксирует непо- движное изображение и совместно записывает в базу данных задан- ное количество кадров видеопотока, составляющих видеоролик, и две статических картинки (полноразмерную и миниатюрную) , сформи- рованных из зафиксированного неподвижного изображения. Статиче- ские картинки могут быть сохранены в базе данных с использовани- ем какого-либо из таких широко известных форматов, как JPEG, TIF, PNG и т.п., а видеоролик может быть соответственно сохранен в базе данных с использованием, например, такого широко извест- ного формата как MPEG, при этом длительность (количество кадров) видеоролика может быть преконфигурирована или динамически выби- раться видеосервером. В соответствии с настоящим изобретением, каждый видеосервер
3210 сконфигурирован выполнять анализ отснятых видеоданных для выявления признаков возгорания.
Данный анализ, согласно предпочтительному варианту осуществ- ления настоящего изобретения, осуществляется системой компьютер- ного зрения, реализованной в составе видеосервера 3210, в отно- шении видеоданных, извлеченных из базы 3220 данных. Как было сказано ранее, использование и возможные программно-аппаратные реализации систем компьютерного зрения широко известны в различ- ных областях техники. Указанный анализ может осуществляться по запросу, непрерывно, по расписанию или иным образом.
Извлечение требующихся видеоданных и метаданных из базы дан- ных может осуществляться по ссылке, представляющей собой уни- кальные идентификаторы видеокамеры, маршрута патрулирования и/или конкретного факта съемки в рамках маршрута, однозначно идентифицирующие видеоматериал, который был снят с камеры. Такой набор идентификаторов, составляющий ссылку, однозначно определя- ет в рамках системы каждый факт съемки каждой видеокамерой и позволяет получить как сам соответствующий видеоконтент, так и ассоциированные метаданные, его описывающие.
Компьютерно-реализованная система компьютерного зрения ана- лизирует извлеченный контент на предмет признаков возгорания, т.е. выявления в мультимедийном контенте потенциально опасных объектов (ПОО) , таких как, например, дым, огонь и т.д., в соот- ветствии с вышеприведенным изложением, и установления их геогра- фического местонахождения. Согласно настоящему изобретению, си- стема компьютерного зрения видеосервера сконфигурирована, по вы- явлении признаков возгорания, формировать специальный объект данных потенциальной опасности, характеризующий выявленный ПОО.
Следует понимать, что ПОО, выявленный системой компьютерного зрения в видеоданных, не обязательно соответствует реальному возгоранию, но может быть и следствием ложного срабатывания си- стемы компьютерного зрения.
Необходимо отметить, что в системе компьютерного зрения мо- гут использоваться различные алгоритмы компьютерного зрения для обеспечения обнаружения признаков возгорания на различных типах видеокамер и в различных условиях съемки.
Согласно предпочтительному варианту осуществления, сформиро- ванный объект данных потенциальной опасности может включать в себя: название, которое для автоматически найденного ПОО форми- руется из имени видеокамеры, с помощью которой он был найден, и времени на момент обнаружения; оценку координат ПОО; оценку об- ласти, в которой может находится ПОО; степень уверенности для ПОО, найденного системой компьютерного зрения (так, нахождение признаков ПОО при повторном осмотре территории повышает степень уверенности) ; статус (неподтвержденный человеком, подтвержденный человеком) и т.п.
Вышеперечисленные и другие возможные параметры могут быть логически организованы в объект данных потенциальной опасности любым подходящим способом, известным, в частности, в области программирования (например, в виде структуры или класса) .
Извлеченные метаданные также используются в вычислениях, вы- полняемых системой компьютерного зрения. В частности, при обна- ружении ПОО в кадре, алгоритм компьютерного зрения выдает его координаты в пикселях, и чтобы восстановить то, где этот ПОО мог находиться на местности, нужно знать, куда и как видеокамера "смотрела" при съемке материала, составляющего анализируемый кон- тент .
Согласно настоящему изобретению, объект данных потенциальной опасности формируется с привязкой к видеоданным, в которых был выявлен соответствующий ПОО. Как было сказано ранее, в базе 3220 данных, по результатам видеосъемки, видеосервером 3210 сохраня- ются мультимедийные данные с соответствующими метаданными, где в рассматриваемом случае мультимедийные данные предпочтительно включают в себя видеоролик и две статических картинки (полнораз- мерную и миниатюрную) , где запечатлен выявленный ПОО. Для этого, в соответствующий объект данных потенциальной опасности дополни- тельно включается ссылка на связанные с ним муль имедийные дан- ные и ассоциированные метаданные, по которой они могут быть из- влечены из базы данных. Возможная реализация такой ссылки описа- на ранее.
Хотя выше был описан предпочтительный подход на основе си- стемы компьютерного зрения, следует понимать, что потенциально опасные объекты могут выявляться и иным образом, например, вруч- ную оператором при отсматривании видеоматериала. При этом, соот- ветственный объект данных потенциальной опасности может быть надлежащим образом сформирован по запросу оператора установлен- ным на его терминале клиентским приложением, предусматривающим соответствующие функциональные возможности.
Видеосерверы 3210 подсоединены к глобальной сети 360 связи, такой как Интернет. Сформированный объект данных потенциальной опасности посылается видеосервером через сеть 360 связи в подси- стему 330 хранения и вторичной обработки видеоданных, предпочти- тельно, с запрашиванием его сохранения в подсистеме 330 хранения и вторичной обработки видеоданных.
Подсистема 330 хранения и вторичной обработки данных включа- ет в себя один или более объектных серверов 3310, подсоединенных к сети 360 с возможностью осуществления связи с видеосерверами
3210.
Каждый объектный сервер 3310 выполнен с возможностью сохра- нять и модифицировать полученные объекты данных потенциальной опасности .
Согласно предпочтительному варианту осуществления, в объект- ном сервере 3310 предусмотрено устройство (а) хранения данных, где сохраняются объекты данных потенциальной опасности, и объ- ектный сервер 3310 сопоставляет полученный объект данных потен- циальной опасности с ранее сохраненными объектами данных потен- циальной опасности. Объект данных потенциальной опасности может быть получен сервером 3310 из подсистемы 320 управления видеомо- ниторингом и первичной обработки видеоданных, как описано ранее, или от другого компонента системы 300 видеомониторинга леса, например, с терминала 340 оператора при ручном подходе, указан- ном выше. При этом необходимо отметить, что функционирование объектного сервера 3310 не зависит от того, из какого конкретно- го источника им принимается объект данных потенциальной опасно- сти .
При указанном приеме объектный сервер 3310 может корректиро- вать как вновь поступивший объект данных потенциальной опасно- сти, так и уже имеющиеся объекты объекты данных потенциальной опасности, если между вновь поступившим и каким (и) -либо из имею- щихся объектов данных потенциальной опасности выявлена взаимо- связь .
В частности, при выявлении среди ранее сохраненных объектов данных потенциальной опасности объекта данных, соответствующего (например, совпадающего с) полученному объекту данных потенци- альной опасности, объектный сервер 3310 корректирует характери- стики выявленного объекта данных на основе характеристик полу- ченного объекта данных. Если же объекты данных, соответствующие полученному объекту данных потенциальной опасности, отсутствуют среди ранее сохраненных объектов данных потенциальной опасности, тогда объектный сервер 3310 сохраняет в своем запоминающем устройстве полученный объект данных в качестве нового объекта данных потенциальной опасности.
Рассмотренное выше функционирование объектного сервера 3310 иллюстрируется далее на основе примера обнаружения одного ПОО с двух видеокамер, управляемых разными видеосерверами, который рассматривается со ссылкой на Фиг. 4.
В ходе анализа видеопотока каждый из двух видеосерверов при- нимает решение о нахождении в кадре признаков потенциально опас- ного объекта и создает соответственный объект данных потенциаль- ной опасности. Далее, каждый из них рапортует о находке ПОО объ- ектному серверу отправкой на него сформированного объекта данных потенциальной опасности. Объектный сервер сохраняет первый при- нятый объект данных потенциальной опасности, а на основе второго принятого объекта данных потенциальной опасности принимает реше- ние об уточнении характеристик сохраненного первого объекта дан- ных, вместо сохранения второго объекта данных потенциальной опасности. При этом, при указанном уточнении характеристик могут корректироваться, по меньшей мере, некоторые из параметров, со- ставляющих объект данных потенциальной опасности, которые приве- дены выше .
Из вышеприведенного примера, помимо того, что объектный сер- вер не сохраняет, по сути, дублированные объекты данных, вытека- ют следующие преимущества, обеспечиваемые уточненными параметра- ми объектов данных потенциальной опасности:
• снижение вероятности того, что обнаруженные П00 являются ложными срабатываниями системы компьютерного зрения;
• повышение точности вычисления области расположения потенци- ального возгорания;
• повышение точности вычисления координат центра возгорания, например, за счет выполнения триангуляции на основе извест- ных координат двух видеокамер, с которых был зафиксирован факт возгорания, и двух векторов направления на это возго- рание .
Следует отметить, что каждый объектный сервер 3310 может быть выполнен с возможностью поддерживать и сохранять историю всех изменений объектов данных потенциальной опасности, которыми он управляет, в том числе и после удаления объектов (например, оператором) .
Каждый объектный сервер 3310 посылает сохраненные объекты данных потенциальной опасности на компьютерные терминалы 340 операторов, подсоединенные к глобальной сети 360 связи, каковая отправка может осуществляться по запросу или автоматически. Кли- ентское приложение, установленное в каждом из операторских тер- миналов 340, сконфигурировано получать объекты данных потенци- альной опасности из подсистемы 330 хранения и вторичной обработ- ки данных и представлять полученные объекты данных потенциальной опасности для оператора, предпочтительно, путем визуализации на экране дисплея в GUI, ассоциированном с клиентским приложением.
Согласно предпочтительному варианту осуществления изобрете- ния, клиентское приложение сконфигурировано визуализировать для оператора в соответствующей области своего GUI интерактивный список объектов данных потенциальной опасности, полученных от доступных объектных серверов. Оператор может выбрать какой-либо объект данных потенциальной опасности из их списка, используя известное устройство ввода, такое как мышь. При активации опера- тором элемента интерактивного списка, связанного с выбранным объектом данных потенциальной опасности, клиентское приложение посылает через сеть 360 на соответствующий видеосервер запрос на мультимедийные данные, связанные с этим объектом данных, и ассо- циированные метаданные .
Как было сказано ранее, объект данных потенциальной опасно- сти включает в себя ссылку на связанные с ним отснятые видеодан- ные и соответствующие метаданные. Как следствие, по этой ссылке запрашиваемые мультимедийные данные (например, видеоролик и фо- тография ПОО) извлекаются видеосервером из базы данных, вместе с описательными метаданными, и через сеть 360 передаются на терми- нал, где пользователь в GUI клиентского приложения может про- смотреть их. Например, когда пользователь таким образом просмат- ривает архивные видеоданные, ему в GUI также предоставляются ме- таданные, показывающие, в частности, когда и куда "смотрела" ка- мера при видеосъемке. Также, при представлении интерактивного списка объектов данных потенциальной опасности, в GUI могут со- ответственным образом представляться связанные с ними миниатюр- ные изображения .
Клиентское приложение дополнительно обеспечивает оператору возможность, по результатам просмотра, подтверждать или не под- тверждать возможное возгорание, о котором сигнализируется визуа- лизируемым объектом данных потенциальной опасности. Данная функ- циональная возможность может быть очевидным образом реализована в GUI. При этом, в составе объекта данных потенциальной опасно- сти может быть изменен вышеупомянутый статус, который при его создании был по умолчанию установлен в "не подтвержден челове- ком'*, на "подтвержден человеком".
Помимо этого, в GUI клиентского приложения может быть из- вестным образом предусмотрена функциональная возможность удале- ния объекта (ов) данных потенциальной опасности, представляемых в интерактивном списке (например, в случае, если оператором уста- новлено, что объект данных потенциальной опасности соответствует ложному срабатыванию системы компьютерного зрения) .
Согласно предпочтительному варианту осуществления, предлага- емая система 300 видеомониторинга леса включает в себя один или более серверов 350 окружения пользователей, подсоединенных к се- ти 360 связи. Серверы 350 окружения обеспечивают пользователям возможность войти в систему, а так же хранят ассоциированные с пользователями данные, которые необходимы системе для правильной настройки окружения пользователя при работе. Иными словами, сер- веры окружения обеспечивают контроль и конфигурирование доступа операторов к компонентам и ресурсам системы 300 видеомониторинга леса через клиентские приложения, установленные ни их компьюте- рах 340, а также обеспечивают, совместно с клиентскими приложе- ниями, маршрутизацию данных, необходимых операторам для работы.
Возможные реализации подобного сервиса окружения пользовате- лей широко известны в технике (например, Active Directory от Mi- crosoft Corporation) .
Естественно, надлежащее взаимодействие операторов с компо- нентами системы 300 может быть известным образом организовано и без использования серверов 350 окружения пользователей, тем не менее, их наличие является предпочтительным для оптимальной ор- ганизации удаленной работы операторов в системе.
Далее, согласно еще одному предпочтительному варианту осу- ществления настоящего изобретения, подсистема 320 управления ви- деомониторингом и первичной обработки видеоданных дополнительно содержит контроллер 3230 видеосерверов, подсоединенный к сети 360 связи, для управления функционированием фермы видеосерверов 3210. Контроллер 3230 видеосерверов выполнен с возможностью ди- намического перераспределения нагрузки между видеосерверами фер- мы видеосерверов.
Согласно предпочтительному варианту осуществления, видеосер- вер 3210 получает от контроллера 3230 видеосерверов список точек видеомониторинга 310, назначенных ему для обслуживания. Контрол- лер 3230 видеосерверов выполнен с возможностью осуществлять ди- намическое переназначение точек видеомониторинга видеосерверам в зависимости от вычислительной нагрузки на видеосерверы и распре- деления трафика данных. Видеосервер 3210 выполняет непрерывный мониторинг своего списка точек видеомониторинга на предмет его изменения контроллером 3230 видеосерверов.
Так, при старте видеосервер 3210 определяет список точек ви- деомониторинга (видеокамер) , за которые он несет ответствен- ность, и запускает непрерывный мониторинг этого списка, на слу- чай, если он изменится в ходе дальнейшей работы. При этом, если список подконтрольных видеокамер изменяется в ходе работы ви- деосервера, порождаются новые потоки управления видеокамерами для видеокамер, которые вошли в границы ответственности данного видеосервера, или уничтожаются существующие потоки, если какие- либо камеры вышли из круга ответственности видеосервера.
Непрерывный мониторинг списка позволяет администраторам си- стемы быстро переносить обработку камер с одного видеосервера на другой, таким образом балансируя нагрузку на каналы связи, вы- числительные ресурсы и, в случае необходимости, замещая вышедший из строя видеосервер частичным использованием имеющихся свобод- ных мощностей нескольких работающих видеосерверов. Это, в част- ности, позволяет в случае имеющихся свободных ресурсов видеосер- веров сократить время неработоспособности видеокамер по причине вышедшего из строя обрабатывающего видеосервера до нескольких десятков секунд.
Для выполнения автоматического (пере) балансирования нагрузки между видеосерверами, в системе 300 могут быть предусмотрены средства диагностики и анализа текущей и среднестатистической нагрузки на видеосерверы. Подобные диагностические средства ши- роко известны в технике и могут быть реализованы в виде про- граммного обеспечения, например, в контроллере 3230 видеосерве- ров .
На стороне оператора в системе 300 видеомониторинга леса предусмотрены разнообразные функциональные возможности по управ- лению, конфигурированию и эксплуатации системы, которые обеспе- чиваются через клиентское приложение в компьютере 340. В данном случае под "клиентским приложением" необязательно понимается то же самое клиентское приложение, что используется оператором для работы с объектами данных потенциальной опасности согласно выше- приведенному изложению, — это может быть и отдельное приложение, которое доступно в системе лишь для пользователей с правами ад- министратора .
Согласно предпочтительному варианту осуществления, в клиент- ском приложении с такими административными полномочиями могут быть предусмотрены функциональные возможности (пере) назначения видеокамер видеосерверам для обслуживания, задания множества объектных серверов и (пере) назначения области ответственности каждого из объектных серверов, (пере ) назначения для каждого опе- ратора списка доступных объектных серверов и списка доступных видеосерверов и т.д. Соответственные конфигурационные настройки могут запоминаться на серверах 350 окружения, в том числе в виде пользовательских профилей, загружаемых с сервера 350 окружения на компьютер 340 оператора при его входе в систему или при за- пуске компьютера 340. В клиентском приложении на терминале 340 оператора, соответственно, предусмотрены функциональные возмож- ности визуализации в GUI списка доступных для оператора объект- ных серверов, списка доступных для оператора видеосерверов и списка доступных видеокамер, обслуживаемых этими видеосерверами.
Указанная визуализация может осуществляться во взаимодействии с сервисом окружения пользователей.
Определение клиентским приложением сервисов и компонентов системы, с которыми ему необходимо взаимодействовать для выпол- нения пользовательских задач, может осуществляться не только при запуске приложения или логическом входе оператора в систему
(например, из загружаемого с сервера окружения профиля) , но и выполняться постоянно в процессе его работы, так чтобы пользова- тельское приложение в любой момент времени имело актуальный спи- сок (и) .
Согласно предпочтительному варианту осуществления, система видеомониторинга леса может быть структурно организована на по- региональной основе. Так, для региона назначается обслуживающий его объектный сервер (ы) , видеокамеры, объекты (например, вышки и пр.), определяются отслеживающие его операторы, а также назнача- ется группа видеосерверов, напрямую или косвенно, через опреде- ление принадлежности камер региону. В результате, пользователь может получить доступ к ресурсам системы, принадлежащим только соответственному региону.
В клиентском приложении также могут быть предусмотрены функ- циональные возможности обеспечения оператору возможности осу- ществлять непосредственный доступ к видеоданным, поступающим в реальном времени с какой-любой одной из доступных ему видеока- мер, или к сохраненным видеоданным, ранее отснятым какой-либо из доступных видеокамер, в целях их просмотра, а также функциональ- ные возможности управления какой-либо из доступных видеокамер, каковые функциональные возможности, в общем, характерны для классических систем видеонаблюдения. Более подробно этот аспект рассматривается ниже.
Общая схема взаимодействия клиентского приложения с компо- нентами системы 300, с точки зрения получаемых им данных, пока- зана на Фиг. 5.
Для специалиста должно быть очевидно, что количество, кон- кретное географическое размещение и эксплуатационные характери- стики точек 310 видеомониторинга, видеосерверов 3210, баз 3220 данных, контроллера 3230, объектных серверов 3310, серверов 350 окружения, операторских терминалов 340, в общем, определяется техническими и экономическими требованиями, предъявляемыми к развертываемой системе видеомониторинга леса. Низкоуровневые ас- пекты всех из серверов системы 300, по сути аналогичны, низко- уровневым аспектам сервера 140 классической системы 100 видеомо- ниторинга леса. Конфигурирование указанных серверов для выполне- ния ими функций согласно настоящему изобретению, описанных выше, осуществляется путем инсталляции на них специализированного про- граммного обеспечения, которое при его исполнении предписывают соответственному серверу выполнять соответствующие функции. Это может быть самостоятельно разработанное программное обеспечение, в том числе с использованием коммерчески и обще доступных сред программирования, библиотек, API и пакетов, заказное программное обеспечение или комбинация вышеперечисленного. Сети связи и об- мен данными/сигналами через них могут быть реализованы на основе любых подходящих сетевых решений и технологий .
Далее, в целях пояснения, на Фиг. .6 приведен пример террито- риального расположения предложенной системы. На фигуре видно три территориально удаленных друг от друга группы видеокамер. Оче- видно, что если бы видеосервер находился где-то в одном месте, как в случае классической системы видеомониторинга леса, то ком- муникационная инфраструктура должна была бы обеспечить транспор- тировку видеоданных от всех видеокамер к этому серверу. Фактиче- ски, это означало бы необходимость иметь каналы высокой пропуск- ной способности по всей стране, что де факто трудно реализуемо.
Поэтому в предложенной системе видеомониторинга леса видеосерве- ры размещены в непосредственной логической близости от точек ви- деомониторинга и соединены с ними локальными каналами высокой пропускной способности. При этом, с остальной частью системы
(т.е. с глобальной сетью 360) видеосерверы соединены каналами с не столь высокой пропускной способностью, поскольку, в соответ- ствии с вышесказанным, благодаря применяемой фильтрации ви- деоконтента поток информации, порождаемый видеосервером, на по- рядок меньше по объему, чем поток от видеокамер. Так, в целях комфортной эксплуатации системы, для подсоединения видеосервера
3210 к сети 360 вполне достаточно канала шириной 3 Мбит/с, тогда как, согласно вышесказанному, VPN, локально связывающая ви- деосервер 3210 с обслуживаемыми им точками видеомониторинга 310, обеспечивает пропускную способность 30 Мбит/с и выше. За счет отвечающей настоящему изобретению организации обработки данных в системе, надлежащее её функционирование будет обеспечено и при ширине внешнего канала от видеосервера в 512 кбит/с.
Возможность территориального и логического распределения ви- део- и объектных серверов согласно настоящему изобретению дает не только гибкость при планировании разворачивания системы с учетом имеющейся инфраструктуры связи, но и позволяет оптимизи- ровать эксплуатационные расходы на содержание серверов, так как позволяет разворачивать сервисы на площадках, на которых соотно- шение цена/надежность /мощность инфраструктуры оптимальна.
Ниже, со ссылкой на Фиг. 7, описывается предпочтительный ва- риант осуществления отвечающего настоящему изобретению способа 7000 автоматизированного обнаружения возгорания, реализуемого в системе 300 видеомониторинга леса.
На этапе 7010 позиционируют видеокамеру точки 310 видеомони- торинга в соответствии с заранее заданным маршрутом патрулирова- ния территории и запускают видеосъемку.
На этапе 7020 видеосервер 3210 принимает видеоданные с ви- деокамеры и на этапе 7030 выполняет анализ видеоданных на пред- мет выявления признаков возгорания.
При отсутствии признаков возгорания (ветвь "Нет" на этапе 7040) может быть запущено повторное прохождение маршрута (воз- врат на этап 7010) или выполнено перепозиционирование видеокаме- ры на новый маршрут .
При выявлении признаков возгорания (ветвь "Да" на этапе 7040) видеосервер 3210 на этапе 7050 формирует объект данных по- тенциальной опасности для выявленного возможного возгорания, с привязкой к видеоданным, где были выявлены признаки возгорания, и метаданным, описывающим характеристики съемки видеоданных.
Затем, на этапе 7060 видеосервер 3210 посылает сформирован- ный объект данных потенциальной опасности в объектный сервер
3310.
На этапе 7070 объектный сервер 3310 принимает объект данных потенциальной опасности и на этапе 7080 сопоставляет принятый объект данных с ранее сохраненными объектами данных потенциаль- ной опасности на предмет выявления среди них объектов данных по- тенциальной опасности, соответствующих принятому объекту данных потенциальной опасности.
Если такие соответствующие объекты данных потенциальной опасности не выявлены (ветвь "Нет" на этапе 7090), объектный сер- вер 3310 на этапе 7100 сохраняет принятый объект данных.
Если же выявлен объект данных потенциальной опасности, соот- ветствующий (например, совпадающий с) принятому объекту данных
(ветвь "Да" на этапе 7090), на этапе 7110 объектный сервер 3310 корректирует параметры выявленного объекта данных на основе па- раметров принятого объекта данных потенциальной опасности, не сохраняя принятый объект данных при этом.
На этапе 7120 объектный сервер 3310 посылает один или более объектов данных потенциальной опасности в компьютерный терминал 340 оператора.
На этапе 7130 в GUI клиентского приложения на компьютерном терминале 340 для оператора визуализируется интерактивный список объектов данных потенциальной опасности, полученных от объектных серверов 3310.
На этапе 7140 оператор осуществляет доступ к объекту данных потенциальной опасности из визуализируемого их списка, в резуль- тате чего на этапе 7150 клиентское приложение запрашивает муль- тимедийные данные, связанные с этим объектом данных потенциаль- ной опасности, и ассоциированные метаданные на соответствующем видеосервере 3210.
На этапе 7160 клиентское приложение визуализирует полученные мультимедийные данные и ассоциированных метаданных для их анали- за оператором.
На этапе 7170, по результатам просмотра, оператор в своем клиентском приложении подтверждает или не подтверждает возможное возгорание, о котором просигнализировано объектом данных потен- циальной опасности.
На Фиг. 8 проиллюстрирован динамический аспект примера функ- ционирования системы при нахождении одного и того же ПОО двумя видеокамерами, управляемыми разными видеосерверами, который был обсужден выше со ссылкой на Фиг. 4.
Предложенная в настоящей заявке двухэтапная схема позволяет выполнять наиболее ресурсоемкую часть работы (собственно, анализ видеоряда системой компьютерного зрения) на видеосерверах, вы- числительная мощность которых масштабируется за счет введения в строй новых видеосерверов и балансируется за счет перераспреде- ления ответственности за управление камерами, что будет рассмот- рено более подробно ниже. В ходе второго этапа, решения принима- ются объектными серверами на основе результатов обработки, вы- полненной видеосерверами . Данный этап требует гораздо меньше вы- числительных ресурсов, и этот факт позволяет сводить потоки уве- домлений со множества видеосерверов на один объектный сервер и принимать решения на основе информации с сотен и даже тысяч ка- мер .
Ниже описываются дополнительные функциональные аспекты заяв- ляемой системы видеомониторинга леса .
Так, со ссылкой на Фиг. 9, 10 иллюстрируется непосредствен- ная работа с видеокамерой из клиентского приложения на компьюте- ре оператора.
Как было сказано ранее, кроме работы со списком объектов данных потенциальной опасности, клиентское приложение предостав- ляет оператору имеет возможность работать непосредственно с ви- деоматериалом .
После инициализации, клиентское приложение имеет информацию о том, какие из доступных оператору видеокамер обслуживаются те- ми или иными видеосерверами. Все сценарии работы пользователя с мультимедийными данными в системе сводятся к двум режимам работы с камерой:
• получение прямого доступа к видеокамере в режиме реального времени (Фиг. 9);
• получение архивных видеоданных, снятых с камеры (Фиг. 10).
Оба эти режима приводят к осуществлению связи между клиент- ским приложением и видеосервером.
В случае прямого доступа к видеокамере видеосервер должен быть уведомлен о желании оператора получить такой доступ, по- скольку сам видеосервер обязан остановить собственную работу с камерой (остановить перепозиционирование камеры и съем видеопо- тока) , а так же перевести камеру в режим, препятствующий предо- ставлению такого доступа другим пользователям. Таким образом, функционирование системы согласно настоящему изобретению (напри- мер, в соответствии с Фиг. 7 ) приостанавливается.
При этом, управление камерой осуществляется также через ви- деосервер для унификации доступа к камерам и для контроля досту- па (см. Фиг. 11). Действительно, прямой доступ к видеокамере должен быть позволен только одному пользователю, поскольку в об- ратном случае может быть спровоцирован конфликт управления, а также из-за необходимости передавать два видеопотока может быть перегружен канал доступа к камере. При этом время, которое сер- вер удерживает камеру в таком режиме, ограничено. Если пользова- тельское приложение не подтверждает продление нахождения камеры в режиме прямого доступа, камера считается переведенной в режим автоматической работы.
Также, множество сценариев работы с описываемой системой предполагают отображение пользователю архивных муль имедийных данных, собранных с камер видеосерверами. При этом, все такие сценарии приводят к реализации одного из двух видов запросов к видеосерверу :
• получение описания мультимедийных данных, удовлетворяющих сформулированным клиентским приложением критериям (например, данные, снятые с определенной камеры или маршрута, данные, связанные с определенными объектами, и т.д.);
• получение самих мультимедийных данных (миниатюр, изображений и видео) . В отличие от прямого доступа, архивные данные могут получать несколько пользователей сразу. Количество пользователей ограни- чено только пропускной способностью канала передачи данных от сервера .
Далее со ссылкой на Фиг. 12 показывается ввод в эксплуатацию нового видеосервера для иллюстрации масштабируемости системы.
Как видно из Фиг. 12, процесс состоит из двух этапов — кон- фигурирование самого видеосервера, в ходе которого он обращается к контроллеру за списком видеокамер для обслуживания, и инициа- лизация видеосервера, в ходе которой он определяет доступность видеокамер, вверенных ему в обслуживание. В ходе первого этапа происходит информирование клиентских приложений о факте начала обслуживания камер, назначенных на обслуживание видеосерверу. В ходе второго этапа видеосервер информирует клиентские приложения о статусе камер и готовности выполнять запросы пользователя для камер, которые он обслуживает.
При этом у администраторов системы имеется возможность либо жестко привязать обслуживание той или иной камеры к видеосерве- ру, либо указать, что камера обслуживается любым видеосервером, у которого есть ресурсы, в каковом случае контроллер видеосерве- ров самостоятельно решает, какой видеосервер должен обслуживать такую камеру.
Для оператора системы этот процесс скрыт. Оператор узнает лишь о факте начала обслуживания камер, поскольку они становятся ему доступны.
Похожим образом осуществляется и ввод в эксплуатацию новых видеокамер . Далее со ссылкой на Фиг. 13 показывается перенос обслужива- ния камер с одного видеосервера на другой для иллюстрации ро- бастности системы.
Как было сказано ранее, такой перенос необходим для баланси- ровки нагрузки на видеосерверы при изменении условий их эксплуа- тации (например, при уменьшении пропускной способности канала связи) , либо при выведении из эксплуатации сервера с передачей обслуживаемых камер другому видеосерверу (ам) .
Перенос обслуживания сопровождается уведомлением видеосерве- ра-донора о том, что видеокамера будет выведена из зоны его об- служивания, после чего видеосервер-донор немедленно прекращает обслуживание этой камеры, и уведомлением видеосервера-акцептора о том, что список обслуживаемых им видеокамер также изменился (см. Фиг. 13). При этом, для оператора такая реконфигурация со- провождается кратковременным (несколько десятков секунд) выводом видеокамеры из эксплуатации.
Предложенная распределенная архитектура системы видеомонито- ринга обладает определенной степенью унифицированности компо- нент, что положительно сказывается на надежности и стоимости её эксплуатации. Действительно, за счет возможности быстрого пере- назначения видеосерверам камер, которые они обслуживают, возмож- ны быстрый ввод/вывод видеосерверов из состава системы, а также реконфигурирование системы с целью перераспределения вычисли- тельной нагрузки. Этот факт имеет прямое влияние на стоимость эксплуатации фермы видеосерверов. Действительно, поскольку ви- деосерверы не содержат критических для пользователя и функциони- рования системы данных, а система имеет возможность быстрого из- менения схемы обслуживания видеокамер, требования, предъявляемые к надежности видеосерверов, могут быть снижены, а надежность функционирования системы в целом при этом снижена не будет за счет возможности быстрой замены вышедших из строя видеосерверов .
Хотя обеспечиваемая гибкость раскрытой системы видеомонито- ринга и сопровождается соответственным усложнением ее реализации (по сравнению с классическими системами) , это усложнение никак не сказывается на опыте эксплуатации системы конечными пользова- телями (операторами) , поскольку информация о логической и физи- ческой конфигурации системы мониторинга скрыта от пользователя. Пользователи во время работы оперируют понятиями предметной об- ласти, такими как камера, территория, обнаруженные объекты, в то время как клиентские приложения совместно с сервисом окружения осуществляют корректную маршрутизацию данных, необходимых поль- зователю для работы.
Таким образом, раскрытый подход обеспечивает решение следую- щих задач и получение соответствующих выгод:
• размещение компонентов системы с учетом неоднородности комму- никационной инфраструктуры передачи данных со снижением общей нагрузки на каналы связи;
• гибкое управление вычислительными ресурсами, необходимыми для анализа данных;
• выполнение многоэтапного анализа данных, при котором постоянно порождаемые видеокамерами данные большого объема фильтруются и анализируются в непосредственной логической близости от видео- камер, а дальнейшая обработка данных, которые занимают значи- тельно меньший объем по сравнению с исходными, требует гораздо меньших ресурсов коммуникационной инфраструктуры;
• уменьшение расходов на эксплуатацию системы без снижения ее надежности .
Изобретение было раскрыто выше со ссылкой на конкретные ва- рианты его осуществления. В рамках существа вышеприведенного раскрытия, для специалистов могут быть очевидны и иные варианты осуществления изобретения, отличающиеся от тех, что изложены в настоящем описании. Соответственно, изобретение следует считать ограниченным по объему только нижеследующей формулой изобретения и ее эквивалентами.

Claims

Формула изобретения
1. Система видеомониторинга леса, содержащая:
множество точек видеомониторинга, каждая из которых содержит видеокамеру на высотном сооружении;
подсистему управления видеомониторингом и первичной обработ- ки видеоданных, содержащую один или более видеосерверов, при этом каждому видеосерверу назначены одна или более точек ви- деомониторинга из упомянутого их множества для управления видео- камерами этих одной или более точек видеомониторинга, причем каждый сервер связан с видеокамерами назначенных ему точек ви- деомониторинга посредством канала связи для получения видеодан- ных, снимаемых этими видеокамерами;
подсистему хранения и вторичной обработки данных, содержащую один или более объектных серверов; и
один или более компьютерных терминалов,
при этом упомянутые видеосерверы, объектные серверы и компь- ютерные терминалы подсоединены к сети связи,
при этом каждый видеосервер выполнен с возможностью:
выполнять анализ отснятых видеоданных для выявления признаков возгорания,
при выявлении признаков возгорания, формировать объект данных потенциальной опасности, относящийся к выявленному возможному возгоранию, и
посылать объект данных потенциальной опасности в подси- стему хранения и вторичной обработки видеоданных;
при этом каждый объектный сервер выполнен с возможностью: сохранять и модифицировать объекты данных потенциальной опасности, и
посылать объекты данных потенциальной опасности в ком- пьютерные терминалы,
при этом на каждом терминальном компьютере установлено кли- ентское приложение для обеспечения взаимодействия оператора с подсистемой управления видеомониторингом и первичной обработки видеоданных и подсистемой хранения и вторичной обработки данных, причем клиентское приложение сконфигурировано получать объекты данных потенциальной опасности из подсистемы хранения и вторич- ной обработки данных и представлять объекты данных потенциальной опасности для оператора.
2. Система по п. 1, в которой подсистема управления видеомо- ниторингом и первичной обработки видеоданных дополнительно со- держит одну или более баз данных, при этом каждый видеосервер выполнен с возможностью сохранять получаемые видеоданные, с при- вязкой к ассоциированным описательным метаданным, в связанной с ним базе данных из этих одной или более баз данных.
3. Система по п. 2, в которой каждый видеосервер содержит компьютерно-реализованную систему компьютерного зрения для вы- полнения упомянутого анализа видеоданных, причем система компью- терного зрения видеосервера извлекает видеоданные для анализа из связанной с ним базы данных, при этом система компьютерного зре- ния видеосервера сконфигурирована формировать объект данных по- тенциальной опасности по выявлении признаков возгорания в анали- зируемых видеоданных так, чтобы сформированный объект данных по- тенциальной опасности был привязан к видеоданным, в которых были выявлены признаки возгорания, и ассоциированным метаданным, опи- сывающим характеристики съемки этих видеоданных.
4. Система по п.З, в которой компьютерно-реализованная си- стема компьютерного зрения выполнена с возможностью использова- ния различных алгоритмов компьютерного зрения для обеспечения обнаружения признаков возгорания на различных типах камер и в различных условиях съемки.
5. Система по п. 1, в которой каждый видеосервер выполнен с возможностью, при посылке сформированного объекта данных потен- циальной опасности в подсистему хранения и вторичной обработки видеоданных, запрашивать сохранение этого объекта данных потен- циальной опасности в подсистеме хранения и вторичной обработки видеоданных .
6. Система по п. 1, в которой каждый объектный сервер допол- нительно выполнен с возможностью:
сопоставлять полученный объект данных потенциальной опасно- сти с ранее сохраненными объектами данных потенциальной опасно- сти в целях нахождения объектов данных потенциальной опасности, имеющих взаимосвязь с полученным объектом данных потенциальной опасности, и
по результатам сопоставления выполнять по меньшей мере одно из следующего:
сохранять полученный объект данных потенциальной опас- ности,
модифицировать по меньшей мере один из ранее сохранен- ных объектов данных потенциальной опасности, модифицировать полученный объект данных потенциальной опасности .
7. Система по п. 6, в которой каждый объектный сервер допол- нительно выполнен с возможностью, при выявлении среди ранее со- храненных объектов данных потенциальной опасности объекта данных потенциальной опасности, по существу, совпадающего с полученным объектом данных потенциальной опасности, корректировать характе- ристики выявленного объекта данных потенциальной опасности на основе характеристик полученного объекта данных потенциальной опасности, без сохранения полученного объекта данных потенциаль- ной опасности.
8. Система по п. 1, в которой объектный сервер получает объ- ект данных потенциальной опасности из подсистемы управления ви- деомониторингом и первичной обработки видеоданных.
9. Система по п.1, в которой каждый объектный сервер выпол- нен с возможностью сохранения и поддержания всех изменений всех объектов данных потенциальной опасности, которые имеются на нем, в том числе и после удаления объектов данных потенциальной опас- ности .
10. Система по п. 1, в которой видеосерверы и видеокамеры назначенных им точек видеомониторинга подсоединены к высокоско- ростной виртуальной частной сети (VPN) .
11. Система по п. 1, в которой подсистема управления ви- деомониторингом и первичной обработки видеоданных дополнительно содержит контроллер видеосерверов, подсоединенный к сети связи, для управления функционированием видеосерверов, при этом кон- троллер видеосерверов выполнен с возможностью динамического пе- рераспределения нагрузки между видеосерверами.
12. Система по п.11, в которой контроллер видеосерверов со- держит средства диагностики и анализа текущей и среднестатисти- ческой нагрузки на видеосерверы, при этом нагрузка включает в себя вычислительную нагрузку и нагрузку сетевого трафика.
13. Система по п. 12, в которой видеосерверы получают списки точек видеомониторинга, назначенных им для обслуживания, от кон- троллера видеосерверов, при этом контроллер видеосерверов выпол- нен с возможностью автоматически осуществлять динамическое пере- назначение точек видеомониторинга видеосерверам в зависимости от нагрузки на видеосерверы, при этом каждый видеосервер выполнен с возможностью мониторинга своего списка точек видеомониторинга на предмет его изменения со стороны контроллера видеосерверов.
14. Система по п. 1, дополнительно содержащая один или более серверов окружения пользователей для контроля и конфигурирования доступа операторов к компонентам и ресурсам системы видеомонито- ринга леса через клиентские приложения, а также для маршрутиза- ции, совместно с клиентскими приложениями, данных, необходимых операторам для работы.
15. Система по п. 14, в которой каждое клиентское приложение сконфигурировано динамически определять, во взаимодействии с серверами окружения пользователей, и визуализировать для опера- тора информацию о доступных для оператора компонентах и ресурсах системы видеомониторинга леса, при этом клиентское приложение сконфигурировано визуализировать для оператора список доступных для оператора объектных серверов, список доступных для оператора видеосерверов и список доступных видеокамер, обслуживаемых этими видеосерверами, причем клиентское приложение сконфигурировано обеспечивать оператору возможность осуществлять доступ к видео- данным, поступающим в реальном времени с любой одной из доступ- ных ему видеокамер, или к сохраненным видеоданным, ранее отсня- тым какой-либо из доступных видеокамер, а также управлять рабо- той какой-либо из доступных видеокамер.
16. Система по п. 3, в которой каждое клиентское приложение сконфигурировано :
визуализировать для оператора список объектов данных потен- циальной опасности, полученных от объектных серверов;
при обращении оператора к какому-либо объекту данных потен- циальной опасности из списка объектов данных потенциальной опас- ности, запрашивать хранящиеся в базе данных видеоданные, связан- ные с этим объектом данных потенциальной опасности, и ассоцииро- ванные метаданные на соответствующем видеосервере;
визуализировать упомянутый объект данных потенциальной опас- ности для оператора путем визуализации полученных видеоданных и ассоциированных метаданных; и
обеспечивать оператору возможность подтверждать или не под- тверждать возможное возгорание, о котором сигнализируется визуа- лизируемым объектом данных потенциальной опасности.
17. Система по п. 1, в которой клиентское приложение выпол- нено с возможностью назначения точек видеомониторинга видеосер- верам.
18. Система по п. 1, в которой клиентское приложение выпол- нено с возможностью назначения территориальной области ответ- ственности каждому из объектных серверов.
19. Способ обнаружения возгорания, реализуемый в системе ви- деомониторинга леса, содержащей: множество видеокамер; множество видеосерверов, при этом каждый видеосервер обслуживает одну или более из множества видеокамер; один или более объектных серве- ров; и множество компьютерных терминалов, содержащий этапы, на которых :
посредством видеосервера из множества видеосерверов,
принимают видеоданные от по меньшей мере одной видеокамеры, выполняют анализ видеоданных для выявления признаков возго- рания,
при выявлении признаков возгорания, формируют объект данных потенциальной опасности, относящийся к выявленному возможному возгоранию, с привязкой к видеоданным, в которых были выявлены признаки возгорания, и
посылают объект данных потенциальной опасности в по меньшей мере один из объектных серверов;
посредством объектного сервера:
принимают объект данных потенциальной опасности,
сопоставляют принятый объект данных потенциальной опасности с ранее сохраненными объектами данных потенциальной опасности, по результатам сопоставления выполняют по меньшей мере одно из следующего :
сохраняют принятый объект данных потенциальной опасно- сти, модифицируют по меньшей мере один из ранее сохраненных объектов данных потенциальной опасности,
модифицируют принятый объект данных потенциальной опас- ности, и
посылают один или более объектов данных потенциальной опас- ности в по меньшей мере один компьютерный терминал; и
посредством компьютерного терминала:
принимают объекты данных потенциальной опасности и
представляют объекты данных потенциальной опасности для опе- ратора .
20. Способ по п. 19, в котором объект данных потенциальной опасности формируют дополнительно с привязкой к метаданным, опи- сывающим характеристики съемки видеоданных.
21. Способ по п. 19, в котором, при выявлении по результатам упомянутого сопоставления среди ранее сохраненных объектов дан- ных потенциальной опасности объекта данных потенциальной опасно- сти, по существу, совпадающего с принятым объектом данных потен- циальной опасности, модифицируют выявленный объект данных потен- циальной опасности на основе принятого объекта данных потенци- альной опасности, без сохранения принятого объекта данных потен- циальной опасности.
22. Способ по п. 20, дополнительно содержащий этапы, на ко- торых, посредством компьютерного терминала:
визуализируют для оператора список объектов данных потенци- альной опасности, полученных от объектных серверов;
при обращении оператора к какому-либо объекту данных потен- циальной опасности из списка объектов данных потенциальной опас- ности, запрашивают видеоданные, связанные с этим объектом данных потенциальной опасности, и ассоциированные метаданные на соот- ветствующем видеосервере;
визуализируют упомянутый объект данных потенциальной опасно- сти для оператора путем визуализации полученных видеоданных и ассоциированных метаданных; и
обеспечивают оператору возможность подтверждать или не под- тверждать возможное возгорание, о котором сигнализируется визуа- лизируемым объектом данных потенциальной опасности.
PCT/RU2014/000679 2013-09-25 2014-09-11 Распределенная архитектура системы видеомониторинга леса WO2015047136A1 (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/895,214 US10009532B2 (en) 2013-09-25 2014-09-11 Distributed architecture of forest video monitoring system
EA201600203A EA201600203A1 (ru) 2013-09-25 2014-09-11 Распределенная архитектура системы видеомониторинга леса

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2013143472 2013-09-25
RU2013143472/07A RU2554102C2 (ru) 2013-09-25 2013-09-25 Распределенная архитектура системы видеомониторинга леса

Publications (1)

Publication Number Publication Date
WO2015047136A1 true WO2015047136A1 (ru) 2015-04-02

Family

ID=52744084

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2014/000679 WO2015047136A1 (ru) 2013-09-25 2014-09-11 Распределенная архитектура системы видеомониторинга леса

Country Status (4)

Country Link
US (1) US10009532B2 (ru)
EA (1) EA201600203A1 (ru)
RU (1) RU2554102C2 (ru)
WO (1) WO2015047136A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954744A (zh) * 2015-06-12 2015-09-30 深圳市佳信捷技术股份有限公司 烟雾检测***
CN106710120A (zh) * 2016-12-26 2017-05-24 安徽天立泰科技股份有限公司 一种前端分布式森林烟火识别定位智能感知***
WO2019233180A1 (zh) * 2018-06-06 2019-12-12 Zhou Chaoqiang 基于参数提取的辐射设备报警***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4097577A4 (en) 2020-01-29 2024-02-21 Iyengar, Prashanth SYSTEMS AND METHODS FOR RESOURCE ANALYSIS, OPTIMIZATION OR VISUALIZATION
AU2021201122A1 (en) * 2020-02-28 2021-09-16 Mitygo Pty Ltd A telemetry system for automated bush fire detection
CN113781739B (zh) * 2021-11-15 2022-01-25 山东津岳环保设备有限公司 一种基于数据传输的林场防火监测***
US20240048989A1 (en) * 2022-08-08 2024-02-08 Rovi Guides, Inc. Systems and methods for detecting unauthorized broadband internet access sharing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734335A (en) * 1989-12-20 1998-03-31 Finmeccanica S.P.A. Forest surveillance and monitoring system for the early detection and reporting of forest fires
US20080303903A1 (en) * 2003-12-02 2008-12-11 Connexed Technologies Inc. Networked video surveillance system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2696939B1 (fr) * 1992-10-16 1995-01-06 Bertin & Cie Procédé et dispositif de détection automatique rapide de feux de forêt.
US20050038814A1 (en) * 2003-08-13 2005-02-17 International Business Machines Corporation Method, apparatus, and program for cross-linking information sources using multiple modalities
KR101502887B1 (ko) * 2007-09-22 2015-03-16 주식회사 케이엠더블유 이동통신 기지국 안테나를 이용한 영상 정보 제공 시스템및 방법
CN101742256B (zh) * 2009-12-07 2011-10-05 杭州电子科技大学 基于dsp/ipmod智能视频服务器的林区火灾无线远程监控装置
US8917176B2 (en) * 2010-01-14 2014-12-23 Thinxtream Technologies Pte. Ltd. Apparatus and methods for distributing and displaying emergency communications
RU2458407C1 (ru) * 2011-03-02 2012-08-10 Общество с ограниченной ответственностью "ДиСиКон" (ООО "ДСК") Система и способ видеомониторинга леса
RU113046U1 (ru) * 2011-08-29 2012-01-27 Закрытое акционерное общество "Видеофон МВ" Комплексная система раннего обнаружения лесных пожаров, построенная на принципе разносенсорного панорамного обзора местности с функцией высокоточного определения очага возгорания
US9544075B2 (en) * 2012-02-22 2017-01-10 Qualcomm Incorporated Platform for wireless identity transmitter and system using short range wireless broadcast
KR101353585B1 (ko) * 2012-06-11 2014-02-11 강릉원주대학교산학협력단 무선 센서 네트워크 시스템 및 노드장치, 센싱 메시지 처리방법
EP3030879A4 (en) * 2013-08-09 2018-01-03 CNRY Inc. System and methods for monitoring an environment
US9948898B2 (en) * 2014-08-22 2018-04-17 Verizon Patent And Licensing Inc. Using aerial imaging to provide supplemental information about a location

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734335A (en) * 1989-12-20 1998-03-31 Finmeccanica S.P.A. Forest surveillance and monitoring system for the early detection and reporting of forest fires
US20080303903A1 (en) * 2003-12-02 2008-12-11 Connexed Technologies Inc. Networked video surveillance system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SERIC LJILJANA ET AL.: "Observer network and forest fire detection.", INFORMATION FUSION, vol. 12, no. ISSUE, July 2011 (2011-07-01), AMSTERDAM *
STEPANICEV DARKO.: "Intelligent Forest Fire Monitoring System - from idea to realization.", ANNUAL 2010/2011 OF THE CROATIAN ACADEMY OF ENGINEERING, 2012, pages 66 - 67 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954744A (zh) * 2015-06-12 2015-09-30 深圳市佳信捷技术股份有限公司 烟雾检测***
CN106710120A (zh) * 2016-12-26 2017-05-24 安徽天立泰科技股份有限公司 一种前端分布式森林烟火识别定位智能感知***
WO2019233180A1 (zh) * 2018-06-06 2019-12-12 Zhou Chaoqiang 基于参数提取的辐射设备报警***

Also Published As

Publication number Publication date
RU2013143472A (ru) 2015-04-10
US10009532B2 (en) 2018-06-26
US20160198079A1 (en) 2016-07-07
EA201600203A1 (ru) 2016-11-30
RU2554102C2 (ru) 2015-06-27

Similar Documents

Publication Publication Date Title
RU2554102C2 (ru) Распределенная архитектура системы видеомониторинга леса
EP3434011B1 (en) Method and system for pooled local storage by surveillance cameras
JP6092934B2 (ja) 交換用カメラの自動構成
KR101321444B1 (ko) Ｃｃｔｖ 모니터링 시스템
US9477891B2 (en) Surveillance system and method based on accumulated feature of object
US10516856B2 (en) Network video recorder cluster and method of operation
CN104636709B (zh) 一种定位监控目标的方法及装置
RU2504014C1 (ru) Способ управления системой мониторинга и система для его реализации
EP3503059A1 (en) Integrated voice over ip communication in fire systems
US11805202B2 (en) Real-time crime center solution with dispatch directed digital media payloads
EP4329294A1 (en) Crime center system providing video-based object tracking using an active camera and a 360-degree next-up camera set
US10277869B2 (en) Efficient process for camera call-up
KR102592291B1 (ko) 이동형 로봇을 이용한 무인 국사 모니터링 시스템 및 그 방법
US20100077456A1 (en) Operator device profiles in a surveillance system
KR20190140508A (ko) 전력 설비 관리 시스템
JP2018098574A (ja) 映像監視システム及び監視映像表示方法
KR102057845B1 (ko) 단말기와의 연계를 통한 영상 관제 방법 및 이를 이용한 영상 관제 시스템
KR20120103119A (ko) 분산 설치된 관제장비의 장애상태 제어방법
EP4373078A1 (en) Emergency dispatch system with video security camera feeds augmented by 360-degree static images
KR102596314B1 (ko) 이벤트 우선순위를 기반으로 영상을 재배열하는 방법, 서버 및 시스템
CN114895811B (zh) 一种基于增强现实技术的对象管理方法、装置及设备
Abrams et al. Video content analysis with effective response
CN118283303A (zh) 视频分析方法、装置、网络设备、终端设备及介质
CN103688511A (zh) 物理位置的跟踪

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14847462

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14895214

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 201600203

Country of ref document: EA

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14847462

Country of ref document: EP

Kind code of ref document: A1