WO2018105112A1 - 水上侵入検知システムおよびその方法 - Google Patents

水上侵入検知システムおよびその方法 Download PDF

Info

Publication number
WO2018105112A1
WO2018105112A1 PCT/JP2016/086774 JP2016086774W WO2018105112A1 WO 2018105112 A1 WO2018105112 A1 WO 2018105112A1 JP 2016086774 W JP2016086774 W JP 2016086774W WO 2018105112 A1 WO2018105112 A1 WO 2018105112A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
candidate
time
evaluator
Prior art date
Application number
PCT/JP2016/086774
Other languages
English (en)
French (fr)
Inventor
純一 富樫
伊藤　渡
正也 岡田
一成 岩永
藤井　幸
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to US15/761,748 priority Critical patent/US10282622B2/en
Priority to PCT/JP2016/086774 priority patent/WO2018105112A1/ja
Priority to SG11201802247XA priority patent/SG11201802247XA/en
Priority to JP2018513902A priority patent/JP6336693B1/ja
Publication of WO2018105112A1 publication Critical patent/WO2018105112A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image

Definitions

  • the present invention relates to a monitoring system that detects a ship on the water, a swimmer, a drifting object, and the like from an image of a monitoring camera installed on the coast.
  • Patent Documents 1 to 6 A technique for detecting a ship or the like that has entered a surveillance area without being affected by waves at sea is known (for example, see Patent Documents 1 to 6).
  • Non-Patent Documents 2 and 3 there is known a technique for estimating the phase velocity, period, wave height and the like of a wave on the water surface from a camera image (see, for example, Non-Patent Documents 2 and 3).
  • JP 2013-181795 A Japanese Patent No. 4107773 Japanese Patent No. 397702 International Publication No. 10/084902 Pamphlet JP 2002-279429 A Japanese Patent No. 4302801 Japanese Patent No. 5709255 Japanese Patent No. 4475517 Japanese Patent No.4921857 Japanese Patent No. 5021913
  • an object of the present invention is to provide a monitoring system that integrally detects and alerts various objects that can enter from the sea.
  • a marine intrusion detection system detects a candidate for an intruding object from a visible camera image that monitors the sea, and further introduces a size, a speed, an intruding direction, linearity, and the like to perform a certain degree of object identification.
  • an intruding object is detected from the far-infrared camera image, and at the same time, a ship (high brightness), a human (medium brightness), and a floating object (same brightness as the sea) are distinguished from the difference in brightness.
  • the wave motion in the normal state without an object is analyzed. In order to analyze the motion of the wave, the periodicity of the temporal change in luminance is observed using Fourier transform.
  • the wave motion and the interlocking are almost not recognized, and because the human is a motion different from the wave, the interlocking is relatively low, such as a drum can In the case of the object, since it almost drifts in the wave, the interlocking with the wave becomes relatively high. These are used to improve the object identification accuracy.
  • the sea intrusion detection system automatically tracks an object by using a turning camera. However, when tracking, since the angle of view always changes, the position of the detected object cannot be determined.
  • the periodicity of the wave is used to guide a certain position of the object. The wave periodicity changes closer to the land than offshore, such as the periodicity is disturbed and weakened due to the shallow water depth. With this change, the distance to the land of the object is estimated, and the degree of penetration is automatically derived.
  • FIG. 1 is a block diagram illustrating an example of a logical configuration of a monitoring system 1 according to a first embodiment.
  • the functional block diagram of the detector 5 under the silhouette condition of a present Example.
  • the monitoring system detects a candidate for an intruding object from a visible camera image that monitors the sea, and further introduces the size, speed, intrusion direction, linearity, and the like to identify the object to some extent.
  • an intruding object is detected from the far-infrared camera image, and at the same time, a ship (high brightness), a human (medium brightness), and a floating object (same brightness as the sea) are distinguished from the difference in brightness.
  • the wave motion in the normal state without an object is analyzed. In order to analyze the motion of the wave, the periodicity of the temporal change in luminance is observed using Fourier transform.
  • the wave motion and the interlocking are almost not recognized, and because the human is a motion different from the wave, the interlocking is relatively low, such as a drum can In the case of the object, since it almost drifts in the wave, the interlocking with the wave becomes relatively high. These are used to improve the object identification accuracy.
  • the sea intrusion detection system automatically tracks an object by using a turning camera.
  • the position of the detected object cannot be determined.
  • the periodicity of the wave is used to guide a certain position of the object.
  • the wave periodicity changes closer to the land than offshore, such as the periodicity is disturbed and weakened due to the shallow water depth. With this change, the distance to the land of the object is estimated, and the degree of penetration is automatically derived.
  • FIG. 1 is a block diagram showing an example of the logical configuration of the monitoring system 1 according to the first embodiment of the present invention.
  • the monitoring system 1 of this example integrates and tracks a video source 2, a sea surface condition acquisition device 3, a difference method based detector 4, a silhouette state detector 5, a feature amount based detector 6, and the results thereof.
  • a threat evaluator 8 The video source 2 is a surveillance camera installed on the coast and photographing the sea surface, or a device that reproduces the recorded video.
  • the surveillance camera can be equipped with an electric head or an electric zoom lens.
  • the image may be obtained from any of the visible light region, near infrared region, and far infrared region, and may be one channel (gray scale) or multiple channels (color).
  • the video source 2 can output a plurality of versions of video with a spatial domain or time domain filter for the following three detectors.
  • the input video is required again in the subsequent processing, it is possible to hold the input video of a plurality of past frames so as to be freely readable.
  • the sea level acquisition unit 3 automatically estimates the time period, spatial period, and amplitude (vertical movement) of the wave of the sea surface as the background based on the input video. For these estimations, various methods such as a classical method such as a particle image velocity measurement method (PIV), a stereo image method of Non-Patent Document 2, and a spatio-temporal image method of Non-Patent Document 3 can be used.
  • PV particle image velocity measurement method
  • the processing does not have to be performed at all times, and human operation may be partly or entirely.
  • the sea level region in the frame can also be estimated through an acquisition trial by the sea level acquisition unit 3.
  • the amplitude obtained by this method is an apparent amplitude on the image, and is not affected by an error associated with coordinate conversion between the camera image and the real world.
  • the difference method base detector 4 detects pixels whose values change at a higher speed than the reference image (background), and is similar to those described in Patent Documents 2 to 6. Waves observed on the sea surface taken in the field of view from several tens of meters to several kilometers are assumed to have a period of about several seconds.
  • a background image is generated by moving and averaging the input video in a manner to follow the fluctuation of the wave period, and the absolute value of the difference between the latest input image and the background image is thresholded for each pixel. Thus, a high-speed moving object was detected.
  • a short-time background image specialized to suppress only fluctuations in pixel values with a period of several Hz derived from waves and an object with movement other than the background structure can be obtained by averaging several minutes to several hours.
  • a long-time background image with all removed as much as possible is created, and a candidate region (Region of interest) such as a ship is extracted from the difference between the short-time background image and the long-time background image.
  • the candidate area can be expressed by the bitmap itself composed of the above logical values or by the attribute of each candidate area.
  • Various attributes of the candidate area are defined in relation to the circumscribed rectangle of the block of pixels having a value of 1 in the bitmap.
  • the coordinates of the center of gravity of the block, the coordinates of the lowest point, the coordinates of the circumscribed rectangle The vertical size, horizontal size, aspect ratio, average luminance, edge amount, number of pixels (area), filling degree, perimeter length, circularity, complexity, and the like.
  • the sides of the circumscribed rectangle are always set horizontally or vertically with respect to the image frame.
  • the average luminance and the edge amount are calculated from each pixel corresponding to the target block in the short-time background image or the input image.
  • the filling degree is the ratio of pixels having a value of 1 in the circumscribed rectangle.
  • an apparent distance between the lowest end of the area and the horizontal line may be added.
  • the background update speed and threshold are important controllable parameters.
  • the update speed can be automatically adjusted according to the time period obtained by the sea surface condition acquisition unit 3, the number of candidate areas detected, and the like.
  • a difference from the pixel value of the corresponding pixel (block) in the long-time background image of the distribution model to which the pixel will belong is calculated. This is achieved by comparing the absolute value of the difference value with a threshold value based on the variance of the corresponding pixel, and a logical value of 0 or 1 is output.
  • the threshold value can be adjusted based on a value obtained by adding 1 ⁇ 2 of the average difference between the model and the adjacent model to the variance of the distribution model. If the input video is color, the threshold value that exists for each color is used.
  • threshold value If even one color exceeds the threshold value, it is set to 1 (that is, logical sum), or the sum of excess threshold values is updated. Or thresholding. In addition, there are two types of threshold values, one with few detection omissions, one with many false detections, and one with many false detections, but with many detection omissions, and each processing result may be output.
  • both the short-time and long-time background images may be generated by performing respective spatial domain processing after applying a spatial low-pass filter having characteristics corresponding to the spatial period of the wave or down-sampling processing to the input video.
  • the detector 5 under the silhouette condition detects a dark region as an object candidate from an image in which an object having a substantially dark luminance is reflected in a background having a substantially saturated luminance, and is described in Patent Document 3. It is the same as that.
  • Such an image is taken under the condition that sunlight is incident on the camera directly or reflected on the sea surface, especially at the time when the position of the sun is lowered.
  • the detection result is output as a bitmap or an attribute of the candidate area, as in the difference method based detector 4.
  • the feature amount base detector 6 detects an object and identifies the type of the object by a process more advanced than the difference method.
  • the feature amount base detector 5 of this example acquires information on candidate regions detected by the difference method base detector 4 and the detector 5 under the silhouette condition, and extracts feature amounts in the vicinity of the region in the input video. Then, using a machine learning method, it is determined whether the feature value corresponds to a ship, a swimmer, a floating object, or any other (sea surface, disturbance, etc.).
  • the feature amount is not limited to one obtained from one image, but may be a spatio-temporal feature obtained from the latest plural frames of video, and any known feature amount may be used.
  • the machine learning method may use all known features, and is supervised learning such as k-means, linear discriminant analysis (LDA), EM algorithm, etc. that are unsupervised learning (clustering). Logistic discrimination, support vector machines, decision trees, restricted Boltzmann machines, etc. can be used. However, there are preferable combinations of feature quantities and learners depending on the application.
  • a random forest is used as a learner, and texton features (Semantic Texton Forests), color histogram, HOG (Histograms of Oriented Gradients), HOF (Histograms of Optical Flow), DOT (Dominant Orientation Templates), An MBH (Motion Boundary Histogram), a separable lattice hidden Markov model, or the like is used.
  • texton features Semantic Texton Forests
  • color histogram HOG (Histograms of Oriented Gradients), HOF (Histograms of Optical Flow), DOT (Dominant Orientation Templates), An MBH (Motion Boundary Histogram), a separable lattice hidden Markov model, or the like.
  • the tracker 7 labels the candidate areas detected by the detector for each frame and further associates them with the time direction. As a result, a swimmer who looks and hides in the valley of the waves is continuously tracked, and a region that has been erroneously detected once is removed.
  • a well-known method such as a Kalman filter, a particle filter, a Bayes filter, or a mean shift can be applied to the tracker 7 of this example. If necessary for those processes, the tracker 7 is provided with the original image in the candidate region.
  • the tracker can also predict near future positions. Buoys, signs and the like installed at predetermined positions on the sea are removed based on the positions.
  • the tracker 7 can also track at the position represented by the image coordinates, but based on the camera installation height, depression angle, angle of view (zoom magnification), etc., at the position of the global coordinate system corresponding to the real world. It is desirable to track. Image coordinates and global coordinates can be converted by a projection matrix or a homography matrix (when the object position is limited to one plane).
  • the tracker 7 can integrate and track the coordinates of candidate areas from different detectors, in which case information indicating from which detector the candidate area used to generate the trajectory is provided, It also collects and holds other attributes of the candidate area. Also, new attributes such as a change in position from the previous frame can be added through tracking.
  • the threat evaluator 8 identifies what the candidate area is based on, and considers the tendency of the movement (particularly approaching the land) to comprehensively evaluate the threat and perform multistage notification. For example, a candidate area that is initially recognized as an object that is not a disturbance of the sea surface and exists for more than 5 seconds, and that has become a size of about 20 pixels with the approach of the object thereafter, can be used to identify the type. success. In addition, the tendency to approach the land can be determined by continuing the tracking. That is, since the degree of threat can change, the threat evaluator 8 issues a warning corresponding to the increase in the threat. This can be expected to improve the convenience and safety of maritime security.
  • the candidate area is identified based on a rule-based method set by a person or a known machine based on the attribute of the candidate area collected by the tracker 7 and the discrimination result of the feature-based detector 6 if available. Achieved using learning techniques. Here, considering the attributes that ships, swimmers, and floating objects will exhibit, the following table is obtained.
  • the clarity of the image outline varies depending on the degree of movement. That is, when there is a lot of movement, the edge becomes thin, and when there is little movement, the edge becomes close to the original edge. In practice, a determination that is more complicated than Table 1 (for example, referring to another table day and night) may be required.
  • the result of identification of the candidate region is fed back to the difference method based detector 4, the silhouette detector 5 and the feature amount based detector 6, and is used for parameter adjustment and online learning (reinforcement learning).
  • the threat level is particularly high in situations where a clear intrusion intention is estimated. For example, if it is determined that the shore is approaching 10m or more in 10 seconds, it is estimated.
  • the configuration from the sea level acquisition unit 3 to the threat evaluator 8 can be implemented using DSP (Digital Signal Processor), FPGA (Field-Programmable Gate Array), and other processors specialized for image signal processing.
  • DSP Digital Signal Processor
  • FPGA Field-Programmable Gate Array
  • other processors specialized for image signal processing.
  • the DSP and FPGA are co-designed, and the processing group that consumes the memory bandwidth in the DSP is pipelined on the FPGA. preferable.
  • FIG. 2 shows a functional block diagram of the sea level situation acquisition unit 3 of the present embodiment.
  • the horizontal line estimator 31 applies a Canny edge detection filter and a Hough transform to an arbitrary video from the video source 2 or a short-time background image, and determines the position of a substantially horizontal line segment.
  • the position of the horizontal line obtained here is appropriately provided from the difference method base detector 4 to the tracker 7 so that detection is not performed in a region (mask region) above the horizontal line.
  • the position of the horizontal line is used when the apparent distance between the candidate area and the horizontal line is calculated by the tracker 7 or the like.
  • the simple estimator 32 estimates a pixel model within a predetermined plurality of evaluation areas (pixel blocks) in an input video from a video source, and outputs two threshold values for each area.
  • the image of the sea surface can be expressed by a mixed Gaussian distribution model, similar to the background image in the general difference method. In this example, the sea surface is assumed, there are bright and dark shadow parts corresponding to the undulations of the waves, and the highlight part where sunlight is directly reflected is assumed. Presence is presumed.
  • the threshold value is determined by the mode method using the density value of the valley of the histogram, the P-tile method for determining the number of pixels from the lower density of the histogram according to the area ratio of the area to be sorted, the differential histogram
  • a differential histogram method using a density value with the maximum value a threshold determination method for Otsu, a variation threshold method for changing a threshold value according to the properties of each part in an image, and the like can be used.
  • the Otsu method and the variation threshold method are combined. In other words, first set an appropriate threshold, assign each pixel to any distribution model (class) according to the pixel value, accumulate over a sufficient number of frames, and then calculate the number of pixels, average and variance To do.
  • the highlight part is made up of pixels with saturated luminance values, so the threshold value for identifying this can be easily determined, and the threshold value for dividing the bright part into the dark part is An average can be used. Then, according to Otsu's method, the threshold value is updated so as to maximize the ratio of intra-class variance to inter-class variance.
  • These processes are performed for each area. Moreover, it can carry out using only a luminance value, without using color information. Since the sea surface image is comparatively gentle, the distribution model is performed for each evaluation area set discretely, and the area can be estimated by interpolation. Alternatively, it can be calculated in pixel units, not in each evaluation area.
  • the dark part / bright part extractor 33 selects one of the classes corresponding to the bright part and the dark part.
  • the class with the smaller variance or the number of pixels is selected.
  • the number of pixels (height) in the vertical direction of the cluster of pixels belonging to the selected class is calculated in each evaluation region of the input video and in the vicinity thereof. This value includes the height and depth of a wave shadow or illuminated portion when the sea surface is viewed from an oblique direction, and is not an actual height.
  • the reason why the smaller class is selected is that there is a high possibility that a plurality of waves are connected in a large class, so that such a region is not erroneously evaluated.
  • the apparent wave height estimator 34 converts the height of the lump received from the dark part / bright part extractor 33 into a wave height using a predetermined conversion formula.
  • the conversion formula is a function of the depression angle and can be corrected empirically. However, the smaller the depression angle, the smaller the effect.
  • the depression angle is set in advance or provided from a calibration executor 72 (described later). Since the wave height inherently varies, it is desirable to obtain a plurality of samples, sort them, and perform processing such as averaging between the top percentage and the percentage.
  • the wave number and period estimator 35 estimates the wave number and period in the vicinity of each area based on the video from the video source 2 and, if possible, calculates a more reliable wave height based on them. To do. When a request is received from the threat evaluator 8, the wave height or period of the wave at that location is calculated and provided. The wave height at the location between the regions is calculated by interpolating the wave height estimated by the apparent wave height estimator 34. There are various methods for estimating the wave number and the like. However, when a plurality of waves having different directions and periods are overlapped, it is not easy to estimate from a video with a shallow depression angle. Assuming that there is only one directional wave coming from the offshore to the shore as needed.
  • the period is obtained by performing FFT on a time-series pixel value or a classification result and detecting a peak for a certain pixel in the region. More simply, the position of the top and bottom of the lump detected by the dark / bright portion extractor 33 is collected in time series, and the collection time is divided by the number of intersections with the average value.
  • the water depth estimator 36 estimates the water depth at the location based on the wave characteristics. For example, as in Non-Patent Document 4, it can be calculated using the following dispersion relational expression of a small amplitude wave.
  • T is the wave period
  • g is the gravitational acceleration
  • h is the water depth.
  • the phenomenon that the wave height becomes higher and the wavelength becomes shorter as the water depth becomes shallower is called shallow water deformation, and the same tendency is observed even in complex irregular waves. Shallow water deformation is observed only in places where the water depth is shallower than half the wavelength (offshore).
  • the water depth estimator 36 does not need to obtain the absolute value of the water depth, and may only calculate the shallow water count indicating how many times the wave height is compared to the offshore.
  • FIG. 3 shows a functional block diagram of the difference method based detector 4 of the present embodiment.
  • the difference method base detector 4 includes a short-time background image generator 41, a long-time background image generator 42, an update coefficient setting unit 43, an absolute difference unit 44, a binarization unit 45, a threshold setting unit 46, and a time filter. (True value holder) 47 and labeling device 48 are provided.
  • the short-time background image generator 41 has a frame memory therein, and each time an image frame is input from the video source 2 at a predetermined rate, the image frame and the image in the frame memory are updated with a predetermined weight (update).
  • the image is synthesized with the coefficient ⁇ 1 ), output as a background image for a short time, and overwritten in the frame memory.
  • This process is also called a time filter, a recursive filter, an IIR filter, an exponential moving average, etc. It has a time constant of about several seconds.
  • the long-time background image generator 42 has a frame memory therein, and each time an image frame is input from the video source 2 at a predetermined rate, the image frame and the image in the frame memory are updated with a predetermined weight (update). The image is synthesized with the coefficient ⁇ 2 ) and output as a background image for a long time, and is overwritten on the frame memory.
  • the long-time background image generator 42 has a configuration equivalent to that of the short-time background image generator 41, but operates with a reduced frame rate or a relatively small update coefficient. Has a time constant of about or higher.
  • the long-time background image generator 42 can use the short-time background image output from the short-time background image generator 41 in place of the image from the video source 2.
  • the long-time background image generator 42 is not limited to simply generating one frame of long-time background image, but generates a plurality of frames of background images (average value images) and variance value images based on the mixed distribution model. May be. This can be implemented using the well-known codebook method.
  • the result of the simple estimator 32 can be used for modeling.
  • the update coefficient setting unit 43 automatically adjusts the update coefficients (update speeds) ⁇ 1 and ⁇ 2 according to the time period obtained by the sea surface condition acquisition unit 3, the number of candidate areas detected, and the like.
  • f is the frequency of the wave
  • ⁇ is a predetermined coefficient, and can be constantly adjusted according to the ratio of the candidate areas that fail to be tracked by the tracker 7.
  • the update coefficient ⁇ 2 is set so that the update is performed with a time constant shorter than the sustainability and longer than the wave cycle on the basis of the sustainability of the wave state said to be about 20 to 30 minutes.
  • the absolute difference unit 44 calculates the absolute value of the difference between the corresponding pixel values between the short-time background image and the long-time background image, and outputs the absolute value as a difference image.
  • this processing is performed for each color. Note that, instead of the difference for each pixel, a histogram difference near the pixel of interest may be calculated.
  • the binarizer 45 binarizes the difference image from the absolute difference unit 44 by comparing it with a threshold value, and outputs a binarized image.
  • the threshold input video is color
  • the threshold that exists for each color is used.
  • it is set to 1 (that is, logical sum), or the threshold is exceeded.
  • the sum can be further thresholded.
  • there are two types of threshold values one with few detection omissions, one with many false detections, and one with many false detections, but with many detection omissions, and each processing result may be output.
  • the binarizer 45 calculates, for each pixel of the short-time background image, the corresponding pixel (block) in the long-time background image of the distribution model to which that pixel will belong. The difference from the pixel value is calculated. This is achieved by comparing the absolute value of the difference value with a threshold value based on the variance of the corresponding pixel, and a logical value of 0 or 1 is output.
  • the threshold value can be adjusted based on a value obtained by adding 1 ⁇ 2 of the average difference between the model and the adjacent model to the variance of the distribution model.
  • Threshold value setter 46 adaptively sets a threshold value suitable for detection of candidate areas.
  • the pixel value absolute difference
  • the threshold value obtained in the neighboring region is interpolated and applied.
  • the coefficient is set by a person and can be adjusted according to the detection state of the candidate area.
  • the threshold value can be adjusted based on a value obtained by adding 1 ⁇ 2 of the average difference between the model and the adjacent model to the variance of the distribution model.
  • the time filter 47 has a frame memory inside, and for each pixel, holds the index of the most recent frame in which the pixel has a true value, and updates the index each time a binary image is received. If the index is within the last past n frames, an image that is a true value (smoothed binary image) is output. With this process, pixels that have once become true values maintain their values for at least n frames, and the shape of the true value pixels approaches the shape of the object. Note that not only the time domain but also a spatial domain filter such as a median filter may be applied.
  • the labeling unit 48 extracts a cluster of pixels having true values from the binarized image from the time filter 47 as a candidate region using an 8-neighbor method or a contour tracking method, and gives an index to them. Get those attributes and output them. When this process is performed intensively by the tracking device 7, the labeling device 46 is unnecessary.
  • the labeling unit 46 can also perform simple tracking when performing extraction from the current frame using the extraction result (index table) from the immediately preceding frame.
  • the differential method base detector 4 can perform processing on both videos independently. If necessary, two sets of configurations from the short-time background image generator 41 to the labeler 48 may be provided. However, the two sets do not need to have the same configuration, and the short-time background image generator 41, the time filter 47, and the like can be omitted on the side that processes far-infrared video.
  • FIG. 4 shows a functional block diagram of the detector 5 under the silhouette condition of the present embodiment.
  • the detector 5 in the silhouette state includes a binarizer 51, a threshold setting device 52, a labeling device 53, and a time filter 54.
  • the binarizer 51 binarizes the video from the video source 2 in the same manner as the binarizer 45 and outputs a binarized image. However, it is binarized in such a manner that it is true when the pixel value is smaller than the threshold value and false when it is equal to or larger than the threshold value. It is sufficient that the binarizer 51 can binarize only the luminance value of the pixel.
  • Threshold value setter 52 provides a threshold value used in binarizer 51. Since this threshold value only discriminates between saturation (highlight) and darkness, it can be given fixedly, or the threshold value generated by the simple estimator 32 may be used. Depending on the size of the detected candidate area, for example, the threshold may be adjusted to be smaller when an area that is too large compared to the assumed size of the object is detected.
  • the labeler 53 processes and labels the binarized image from the binarizer 51 in the same manner as the labeler 46. Although not essential, it is desirable for the labeling unit 53 to acquire attributes indicating the contour complexity of the candidate region, such as an aspect ratio, a filling rate, and the number of contour pixels.
  • the time filter 54 uses the simple association between frames by the labeling unit 53 or the tracking result of the tracking unit 7 to average the binarized images of the candidate regions corresponding between the frames by matching the centers of gravity. And output as a candidate area image.
  • the silhouette video the object appears black, and brightness and color information cannot be obtained from the object itself. Therefore, when trying to recognize the object only from the contour of the binarized image, there is a concern that the accuracy may be lowered.
  • the motion blur included in the image obtained by the time filter 54 is expected to give an additional feature amount to help improve accuracy.
  • the original images in the candidate areas may be averaged, or a time domain operation other than averaging may be performed.
  • the original image of the candidate area is obtained by a logical product operation of the video frame from the video source 2 and the binary image of the candidate area.
  • the time filter 54 is not essential.
  • FIG. 5 shows a functional block diagram of the feature amount-based detector 6 of this embodiment.
  • the feature-based detector 6 identifies an object using a known random forest, and includes a patch designator 61, a size normalizer 62, a decision tree executor 63, a probability integrator 64, and a class discriminator 65.
  • the online learning device 66 is provided.
  • the patch designator 61 takes out a partial image from the video of the video source 2 by applying an image patch that appropriately includes the candidate area detected by the difference method based detector 4 or the detector 5 under the silhouette condition.
  • the shape of the patch is usually square.
  • the patch designator 61 can arbitrarily generate a plurality of image patches as long as the processing capacity of the feature quantity based detector 6 is not exceeded. For example, a plurality of versions of patches having slightly different positions and sizes may be applied based on one candidate area, or even if there is no candidate area, within the sea surface area detected by the sea surface condition acquisition unit 3 Patches may be scanned and applied sequentially.
  • the size of the patch at that time is set based on the camera parameter obtained by the tracker 7 to a size that will appear when a ship or the like is present at the patch location (but not below the normalized size described later). To do. Conversely, if there are too many candidate regions detected from one video frame, it is necessary to select candidate regions based on priorities according to the size of the region, requests from the threat evaluator 8, or criteria such as round robin There is. When the decision tree executor 63 extracts a feature amount from a frame at a different time or a frame that has undergone a different time domain operation, the same image patch is applied to each frame.
  • the size normalizer 62 normalizes the partial image cut out by the patch designator 61 to a predetermined size that can be received by the decision tree executor 63. If the size is a 4: 4: 4 format in which each pixel has complete color information, for example, 7 ⁇ 7 pixels is sufficient.
  • the decision tree executor 63 traverses each of the T decision trees created by the prior learning, and outputs the probability of the class corresponding to the arrived leaf node.
  • the decision tree is branched by evaluating the branch function.
  • the branch function performs threshold processing on the result of addition / subtraction of the values of specific one to four pixels in the image patch, and is known as Semantic Texton Forests.
  • Each leaf node holds the posterior probability p (c
  • v)
  • v) is the probability of being identified as class c when v is input
  • is the number of samples in sample set S used for learning
  • values (explanatory variables) used by branch functions are not necessarily derived from image patches, but are attributes of candidate regions, such as position (distance). , Size, contour complexity, average brightness, etc.
  • the probability integrator 64 integrates the posterior probability p obtained from each decision tree for each class. If there is no tree that has reached a certain class c, the probability is 0. If there are multiple trees, the posterior probabilities p are integrated by arithmetic mean, geometric mean, maximum value, and the like.
  • the class discriminator 65 determines a class corresponding to the maximum one of the integrated posterior probabilities p, and outputs it as an identification result.
  • the online learner 66 performs active learning, semi-supervised learning, transductive learning, etc. using data in operation, or continues learning using the same algorithm as prior offline learning through label propagation to improve performance
  • active learning some sort of notification is made and the result of having an operator visually identify an object is given to the learning machine. For example, the reliability of the report (probability of output of the classifier) is low, the identification is wrong or it seems to be misunderstood visually, something that the operator wants to remember in particular, Data that can be expected to contribute to the determination of the identification boundary can be fed back.
  • Adaboost where the generalization error decreases as the training data with a large margin is learned, suitable data should be fed back.
  • Transductive learning is a concept and technique that accumulates operator labels as test data and minimizes classification errors in the test data.
  • Various known methods such as BrownBoost can be used for the learning of the branch function and the posterior probability in the decision tree executor 63 and the ensemble learning in the probability integrator 64.
  • Boosting is a meta-algorithm that generates a new version of the classifier by giving a large weight to training data misrecognized by the existing version of the classifier.
  • the identification result of the current class discriminator 65 is used as a temporary label.
  • the posterior probability p held by the leaf node is updated.
  • FIG. 6 shows a functional block diagram of the tracker 7 of this embodiment.
  • the tracker 7 includes a coordinate system converter 71, a calibration executor 72, a tide level acquirer 73, an attribute integrator 74, and a Kalman filter 75.
  • the coordinate system converter 71 receives the attribute of the candidate area from the difference method base detector 4 to the feature amount base detector 6, and determines the coordinates and size of the candidate area from the values of the image (scene) coordinates and the global coordinates. Convert to value.
  • V of the projection matrix P image coordinates expressed in homogeneous coordinates (homogeneous coordinates) are converted into global coordinates.
  • s is a value corresponding to the reciprocal of the depth in the image coordinates, and is calculated as follows by giving the sea level z R in the global coordinates of the candidate region to z world .
  • w h 41 ⁇ u image + h 41 ⁇ v image + h 43 ⁇ s in the bottom row.
  • the position in the global coordinates can be corrected using the distance D between the camera and the object, which is estimated from the apparent distance between the object and the horizon.
  • D the distance between the camera and the object
  • correction is performed by replacing the distance information of the original coordinates with D as follows.
  • the calibration executor 72 calculates a projection matrix P or a homography matrix H or camera parameters necessary for conversion to global coordinates.
  • the projection matrix P is given by the product of the internal camera parameter matrix A and the external camera parameter (motion parameter) matrix M.
  • the internal camera parameter matrix A is determined by the focal length, the aspect ratio of the pixel pitch, and the external camera parameter matrix M is determined by the camera installation position and shooting direction.
  • the projection matrix P has 11 degrees of freedom and can be estimated from 6 or more known points using the well-known Z. Zhang or Tsai method.
  • the tide level acquirer 73 is provided in the calibration executor 72, and if available, acquires a more accurate sea level and provides it to the calibration executor 72.
  • the water level is estimated based on the floating position of floating buoys and signs provided at the specified sea level, or from the position of the coastline reflected in the image of the image source 2 and the position of the water surface relative to the artificial structure. It can be estimated using image processing techniques.
  • the tide level information may be acquired from outside as needed, or the tide (astronomy tide) data may be retained inside and read out according to the calendar.
  • the attribute integrator 74 associates a plurality of candidate regions obtained by the difference method base detector 4 to the feature amount base detector 6 with corresponding candidate regions obtained in the past, and tracks each candidate region.
  • the tracking result is received from the Kalman filter 75, and the attributes of the candidate regions estimated to be the same are integrated, added, or updated.
  • the association is performed by associating attributes of candidate regions, particularly those having similar position coordinates, size, and speed expressed in global coordinates. Even if candidate regions derived from the same object are obtained from a plurality of detectors, they are integrated based on the similarity of attributes.
  • new attributes such as a trajectory and speed are added based on the change in position, and each time tracking is succeeded, it is updated or added in the same manner as other attributes.
  • candidate regions derived from a single object are obtained by dividing into a plurality of frames from a certain frame, they can be integrated in consideration of the commonality and size of trajectories.
  • the candidate area changes to an object that is sure to exist as the tracking continues.
  • the attribute integrator 74 can request the feature amount based detector 6 to try to detect a candidate object near the current assumed position. In order to avoid tracking interruption due to the object going outside the field of view of the video source 2, it is determined whether the current assumed position is out of view or approaching out of view using image coordinates or global coordinates, and the camera It is possible to control an electric pan head equipped with
  • the Kalman filter 75 receives the position coordinates of the candidate area from the attribute integrator 74, performs Kalman filter processing for each candidate area, and outputs the estimated position.
  • the estimated position has reduced noise. Since the Kalman filter 75 internally estimates the model, the calculated position variance can be used as an association threshold in the attribute integrator 74.
  • FIG. 7 shows an example of a functional block diagram of the threat evaluator 8 of the present embodiment.
  • the threat evaluator 8 includes a far-red image luminance evaluator 81, a position change evaluator 82, a size evaluator 83, an aspect ratio evaluator 84, a luminance variation evaluator 85, an edge evaluator 86, an importance evaluator 87, and others.
  • Evaluator 88, discriminator 89, and alert controller 90 The configuration from the far-red image luminance evaluator 81 to the filling degree evaluator 87 calculates quantitative numerical values such as feature quantities (explanatory variables) or probabilities used by the classifier 88.
  • the far-red image luminance evaluator 81 evaluates the luminance in the candidate region of the far-red line image among the attributes of the candidate region (object) accumulated by the tracker 7 and outputs a numerical value explaining it. As an example, a value obtained by multiplying the average luminance value in the candidate area by a predetermined coefficient is output.
  • the coefficient includes the meaning of normalizing the variance of each feature quantity. Or when the average brightness
  • the position change evaluator 82 calculates the fluctuation period and width (wave height) from the time series of the center of gravity position, which is one of the accumulated attributes of the candidate area, and calculates the period and wave height obtained by the sea surface acquisition unit 3.
  • the degree of coincidence, or the linearity of position change and the degree of constant velocity are digitized and output.
  • the wave height may be compared with either the apparent wave height or the actual wave height, and if necessary for the comparison, coordinate conversion is appropriately performed.
  • a statistical correlation value between the time series of the vertical position of the bright part or the dark part extracted by the dark part / bright part extractor 33 and the time series of the centroid position is calculated. Also good.
  • the degree of linearity and constant velocity can be quantified by, for example, dividing the average value of acceleration magnitude (absolute value or component perpendicular to the velocity) by the average velocity.
  • the position of the candidate area used at this time may be the position before being processed by the Kalman filter 75 or the position in the image coordinates.
  • the size evaluator 83 outputs a value obtained by evaluating the size (world coordinates), which is one of the accumulated attributes of the candidate area, by time averaging. Instead of time averaging, a median value may be used. The same applies to other evaluators.
  • the aspect ratio evaluator 84 outputs a value evaluated by averaging the aspect ratio, which is one of the accumulated attributes of the candidate area, over time.
  • the luminance fluctuation evaluator 85 outputs a value obtained by evaluating the degree of variation, such as statistical variance and deviation, from the time series of average luminance, which is one of the accumulated candidate region attributes.
  • the edge evaluator 86 outputs an evaluation value obtained by averaging the amount of edges, which is one of the accumulated attributes of the candidate area, with time.
  • the filling degree evaluator 87 outputs a value obtained by evaluating the filling degree, which is one of the accumulated attributes of the candidate area, by time averaging.
  • the other evaluator 88 outputs other feature amounts or parameters of the discriminator 89 based on the attribute of the candidate area. For example, the type of video source (visible / far red), the feature amount related to sunshine (day / night), or a signal for switching the classifier according to the feature amount is output.
  • the discriminator 89 is a trained discriminator configured using well-known techniques such as case-based reasoning (k-nearest neighbor method), decision tree, logistic regression, Bayesian reasoning (including hidden Markov models), perceptron, and the like.
  • parameters and learning machines can be switched according to the output of the other evaluators 88. If the identification result by the feature quantity base detector 6 can be used, it may be integrated with the result. If each evaluation value is obtained for both a far-red image and a visible image for a certain candidate area, You may integrate the result identified about.
  • the discriminator 89 can be composed of an ensemble learner that integrates them.
  • the intrusion degree evaluator 90 relates to the degree of invasion to the territorial sea or the degree of approach to the land, or their intention or possibility, from the series of position coordinates processed by the Kalman filter, which is one of the attributes of the accumulated candidate area. Output the evaluation value.
  • the shortest distance between the current position (global coordinates) and the coastline (baseline) or territorial sealine of the map that is held in advance can be used as the evaluation value.
  • the alert controller 91 outputs continuous or sufficiently multi-stage evaluation values representing the degree of threat of intrusion based on the object identification result by the identifier 89 and the evaluation value by the intrusion degree evaluator 90. In addition, an alarm is output each time the evaluation value changes across the set threshold value.
  • the discrimination result of the discriminator 89 usually indicates a probability. However, even if the discriminating result indicates only one selected class, the longer the tracking period by the Kalman filter 75, or the apparent size of the candidate region. Reliability that increases as the value increases can be used.
  • the configuration of the system or apparatus according to the present invention is not necessarily limited to the above-described configuration, and various configurations may be used.
  • a video frame and a long-time background image may be subjected to differential processing without using a short-time background image, and although there are many differences due to waves, there is a possibility that they can be distinguished by machine learning in a feature-based detector 6 or the like There is.
  • the present invention is, for example, a method or apparatus for executing the processing according to the present invention, a program for causing a computer to implement such a method, a non-transient tangible medium for recording the program, etc. It can also be provided.
  • the present invention can be applied to a CCTV (Closed-Circuit Television) system or the like.
  • 1 monitoring system 1 monitoring system, 2 monitoring camera device, 3 sea level acquisition device, 4 differential method based detector, 5 silhouette detector, 6 feature amount based detector, 7 tracking device, 8 threat evaluator.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

システムは、海上を監視する可視カメラ及び遠赤外線カメラ映像から侵入する物体の候補を検知し、さらに大きさ、速度、侵入する方向および直線性等を導き、ある程度の物体識別を行う。また遠赤外線映像での輝度等から、船舶、ヒト、浮遊物を区別する。また、映像をフーリエ変換するなどして、物体が無い場所での海面の通常の波の周期性を観測する。その通常状態の波の動きと物体の動きとの連動性に基づいて、物体の識別精度を向上させる。

Description

水上侵入検知システムおよびその方法
　本発明は、沿岸に設置された監視カメラの映像から、水上の船舶、泳者、漂流物等を検知する監視システムに関する。
　近年、感度や解像度に優れたビデオカメラが安価に入手できるようになり、海上のような広範囲な領域を、現実的な台数のカメラで撮影し、物体の像を捉えることができる。
　海上において、波の影響を受けることなく、監視エリアに侵入してきた船舶等を検知する技術が知られる（例えば、特許文献１乃至６参照。）。
　なお、本発明に関連する技術として、カメラ映像から、水面の波の位相速度、周期、波高などを推定するものが知られる（例えば非特許文献２及び３参照。）。
特開2013-181795号公報 特許4117073号公報 特許3997062号公報 国際公開第10/084902号パンフレット 特開2002-279429号公報 特許4302801号公報 特許5709255号公報 特許4476517号公報 特許4921857号公報 特許5021913号公報
Gunnar　Farneback,　"Two-frame　motion　estimation　based　on　polynomial　expansion",　Scandinavian　Conference　on　Image　Analysis,　2003,　インターネット＜URL：http://www.diva-portal.org/smash/get/diva2:273847/FULLTEXT01.pdf＞ Benetazzo,　Alvise,　et　al,　"Observation　of　extreme　sea　waves　in　a　space-time　ensemble",　Journal　of　Physical　Oceanography　Vol.45,　No.9,　11　September　2015,　インターネット＜http://journals.ametsoc.org/doi/pdf/10.1175/JPO-D-15-0017.1＞ 原浩気，藤田一郎、「時空間画像を用いた河川表面流解析における二次元高速フーリエ変換の適用」，水工学論文集,第54巻,2010年2月、インターネット＜URL：http://library.jsce.or.jp/jsce/open/00028/2010/54-0185.pdf＞ 稲葉 徹、外３名、「波浪場画像の解析による水深分布推定」、土木学会第55回年次学術講演会、２－５、（2000年9月）、インターネット＜http://library.jsce.or.jp/jsce/open/00035/2000/55-2/55-2-0005.pdf＞
　しかし上述の従来技術では、例えば船舶と遊泳者(ヒト)や浮遊物(物体)が侵入した際、どの物体が船舶なのか、ヒトなのか、もしくは物体なのかを区別する能力が限定的であった。例えは、物体の大きさやおおよその形、速度からその種別を想定する方法では、精度が不足する。このため、船舶、ヒト、物体検知の同時実現は難しいと考えられてきた。
　また、侵入した物体が陸からどの程度離れたところにいるか、つまり陸への侵入度合は、映像だけでは推定できない。正確なカメラの設置位置や撮影画角が入手できる場合に、それらを参照して計算するしかなかった。
　本発明の目的は、上記問題点に鑑み、海上から侵入しうる様々な物体を統合的に検知し警報する監視システムを提供することにある。
　一実施例にかかる海上侵入検知システムは、海上を監視する可視カメラ映像から侵入する物体の候補を検知し、さらに大きさ、速度、侵入する方向および直線性等を導き、ある程度の物体識別を行う。同時に遠赤外線カメラ映像からも侵入する物体を検知すると同時に、輝度の違いから、船舶(高輝度)、ヒト(中輝度)、浮遊物(海と同輝度)を区別する。さらに同時に物体が無い通常状態の波の動きを分析する。波の動きを分析するために、フーリエ変換を用いて、輝度の時間的変化の周期性を観測する。その通常状態の波の動きとの対比で、例えば船舶であれば、波の動きと連動性がほぼ認められず、ヒトは波とは別の動きのため、連動性は比較的低く、ドラム缶などの物体においては、ほぼ波に漂うため、波との連動性が比較的高くなる。これらを用いて、物体の識別精度を上げる。　他の実施例にかかる海上侵入検知システムは、旋回カメラを用いることで自動的に物体を追跡する。　ただし、追跡する場合、画角が常に変化するため、検知した物体の位置が割り出せない。どこが陸かあらかじめ設定する必要なく陸への距離を測るため、波の周期性を用いて、物体のある程度の位置を導く。波の周期性は沖に比べると陸に近い場所では、水深が浅くなるため周期性が乱れ、弱くなる等の変化がみられる。この変化をもって、物体の陸への距離を概算し、侵入度合を自動的に導く。
　本発明によれば、船舶、ヒト、浮遊物を、高い信頼性で検知することが出来る。
実施例１の監視システム１の論理的な構成の例を示したブロック図。 本実施例の海面状況取得器３の機能ブロック図。 本実施例の差分法ベース検知器４の機能ブロック図。 本実施例のシルエット状況下の検知器５の機能ブロック図。 本実施例の特徴量ベースの検知器６の機能ブロック図。 本実施例の追跡器７の機能ブロック図。 本実施例の脅威評価器８の機能ブロック図。
　本発明の実施形態の監視システムは、海上を監視する可視カメラ映像から侵入する物体の候補を検知し、さらに大きさ、速度、侵入する方向および直線性等を導き、ある程度の物体識別を行う。同時に遠赤外線カメラ映像からも侵入する物体を検知すると同時に、輝度の違いから、船舶(高輝度)、ヒト(中輝度)、浮遊物(海と同輝度)を区別する。さらに同時に物体が無い通常状態の波の動きを分析する。波の動きを分析するために、フーリエ変換を用いて、輝度の時間的変化の周期性を観測する。その通常状態の波の動きとの対比で、例えば船舶であれば、波の動きと連動性がほぼ認められず、ヒトは波とは別の動きのため、連動性は比較的低く、ドラム缶などの物体においては、ほぼ波に漂うため、波との連動性が比較的高くなる。これらを用いて、物体の識別精度を上げる。
　他の実施例にかかる海上侵入検知システムは、旋回カメラを用いることで自動的に物体を追跡する。
　ただし、追跡する場合、画角が常に変化するため、検知した物体の位置が割り出せない。どこが陸かあらかじめ設定する必要なく陸への距離を測るため、波の周期性を用いて、物体のある程度の位置を導く。波の周期性は沖に比べると陸に近い場所では、水深が浅くなるため周期性が乱れ、弱くなる等の変化がみられる。この変化をもって、物体の陸への距離を概算し、侵入度合を自動的に導く。
　図１は本発明の第１実施例の監視システム１の論理的な構成の例を示したブロック図である。本例の監視システム１は、映像ソース２、海面状況取得器３、差分法ベースの検知器４、シルエット状況下の検知器５、特徴量ベースの検知器６、それらの結果を統合して追跡する追跡器７、および脅威評価器８とを備える。
　映像ソース２は、沿岸に設置され、海面を撮影する監視カメラ、或いは、その録画映像を再生する装置である。監視カメラは、電動雲台や電動ズームレンズを装備されうる。また映像は、可視光域、近赤外、遠赤外域のいずれから得られるものでもよく、１チャンネル（グレースケール）や多チャンネル（カラー）の何れでもよい。更に、揺れ補正、陽炎補正、自動ホワイトバランス、階調補正、高ダイナミックレンジ（HDR）合成などが施されうる。また映像ソース２は、後続の３つ検出器のために、空間領域若しくは時間領域フィルタを施した複数のバージョンの映像を出力しうる。また、後段の処理で入力映像が再度必要とされる場合に備え、過去の複数フレームの入力映像を自由に読出し可能に保持してことができる。
　海面状況取得器３は、一例として、入力映像に基づいて、背景である海面の波の時間的周期、空間的周期、振幅（上下動）を自動的に推定する。これらの推定には、粒子画像流速測定法（PIV）のような古典的な方法、非特許文献２のステレオ画像法や、非特許文献３の時空間画像法など、各種の手法が利用できる。処理は、常時行う必要は無く、一部又は全部に人の操作が介在してもよい。また画像フレーム全体について行う必要は無く、海面の領域のうちの代表的な数か所のみで行ってもよい。逆に、海面状況取得器３による取得の試行を通じて、フレーム内の海面の領域を推定することもできる。
　波の時間的周期、振幅、波数（位相速度）の間に成り立つ法則を利用して、それらが正しく得られているか検証したり、補完し合ったりできるが、非特許文献２には、複数の波が重なっている場合に必ずしも法則に単純には従わないことが示唆されている。実際の海岸付近の波の観察では、波形勾配（有義波高/有義波の波長）は0.05以下であり、稀な高波を除けば多くが0.01付近にピークを持つ分布となることが知られる。本例では、低俯角画像から直接的に求めた振幅を用いることで、精度を高める。すなわち、波の画像を、明部と暗部に分類し、それらの見かけの高さ（画像での縦方向の画素数）のうちの一方、例えば、平均値或いは分散値が小さい方を採用する。この方法で得られる振幅は、画像上での見かけの振幅であり、カメラ画像と実世界の間の座標変換に伴う誤差の影響は受けない。
　差分法ベース検知器４は、基準画像（背景）に比べて値が高速に変化する画素を検出するもので、特許文献２から６に記載されたものと類似したものである。数１０メートルから数キロメートルの視界の範囲で撮影される海面で観察される波は、その周期が数秒程度と想定される。上記文献では、波の周期変動に追従する様態で、入力映像を移動平均することで背景画像を生成し、画素毎に、最新の入力画像と背景画像の差の絶対値をしきい値処理することで、高速移動物体を検出していた。本例では、波由来の数Hzの周期の画素値の変動のみを抑圧することに特化した短時間背景画像と、数分から数時間の平均によって、背景構造物以外の動きのあるものが可能な限り全て除去された長時間背景画像を作成し、短時間背景画像と長時間背景画像の差分から、船舶等の候補領域（Region of interest）を取り出す。候補領域は、上記論理値からなるビットマップそのもの、或いは、各候補領域の属性によって、表現されうる。候補領域の属性は、ビットマップ中において１の値を持つ画素の塊の外接矩形に関連して、各種のものが定義され、例えば、塊の重心の座標、最下点の座標、外接矩形の縦サイズ、横サイズ、縦横比、平均輝度、エッジ量、画素数（面積）、充填度、周囲長、円形度、複雑度等である。ここで、外接矩形の辺は常に画像フレームと水平又は垂直に設定される。平均輝度やエッジ量は、短時間背景画像若しくは入力画像における、注目する塊に対応する各画素から算出されるものである。また充填度とは、外接矩形内で１の値を持つ画素の割合である。また、候補領域の属性の１つとして、領域の最下端と水平線との見かけの距離を追加するとよい。
　差分法において、背景の更新速度としきい値は、重要な制御可能なパラメータである。更新速度は、海面状況取得器３で得られた時間的周期や、候補領域の検出数などに応じて自動的に調整されうる。特に短時間背景画像の更新速度（生成フィルタの特性）は、泳者や浮遊物が短時間背景画像に残り、検知できるように、注意深く調整されることが望ましい。
　しきい値処理では、短時間背景画像の画素毎に、その画素が属するであろう分布モデルの長時間背景画像における、対応画素（ブロック）の画素値との差分を算出する。そしてその差分値の絶対値を、対応画素の分散に基づくしきい値と比較することで達成され、０又は１の論理値が出力される。入力映像における画素をモデル化した場合、短時間背景画像では、異なる分布モデルに属する画素が時間的に重なりあったものとなる。そのためしきい値は、当該分布モデルの分散に、当該モデルと隣接モデルのそれぞれの平均の差の１／２を加えた値を基準として調整されうる。入力映像がカラーの場合、色毎に存在するしきい値が用いられ、１色でもしきい値を越えている場合に１としたり（つまり論理和）、しきい値の超過分の和を更にしきい値処理したりすることができる。また、しきい値は、検知漏れが少ない反面誤検知が多いものと、誤検知が多い反面検知漏れが多いものの２種類を用いて、それぞれの処理結果が出力されるようにしてもよい。
　なお短時間と長時間の両背景画像は、入力映像に、波の空間周期に対応する特性の空間ローパスフィルタやダウンサンプル処理をしてから、それぞれの時間領域処理により生成してもよい。
　シルエット状況下の検知器５は、ほぼ飽和した輝度を有する背景の中にほぼ暗黒の輝度を有する物体が映った映像から、暗黒領域を物体候補として検出するものであり、特許文献３に記載されたものと同様である。このような映像は、特に太陽の位置が低くなる時刻で、太陽光が直接若しくは海面に反射してカメラに入射する状況下で撮影される。検出結果は、差分法ベース検知器４と同様に、ビットマップ、或いは、候補領域の属性として出力される。
　特徴量ベース検知器６は、差分法よりも高度な処理によって、物体を検知したり、その物体の種別を識別したりする。本例の特徴量ベース検知器５は、差分法ベース検知器４やシルエット状況下の検知器５が検出した候補領域の情報を取得し、入力映像における当該領域の近傍で特徴量を抽出する。そして、機械学習手法を用いて、その特徴量が、船舶、泳者、浮遊物、それ以外（海面、外乱等）のいずれに該当するか判別する。
　特徴量は、１枚の画像から得られるものに限らず、直近の複数フレームの映像から得られる時空間特徴であってもよく、周知のあらゆる特徴量が利用できるかもしれない。同様に、機械学習手法も、周知のあらゆる特徴量が利用できる可能性があり、教師なし学習（クラスタリング）であるk-means、線形判別分析(LDA)、EMアルゴリズムなどや、教師あり学習であるロジスティック判別、サポートベクターマシン、決定木、制限付きボルツマンマシンなどが利用できる。ただし用途によって、特徴量と学習器の好ましい組合せがある。本例では、学習器にランダムフォレストを用い、特徴量としてはtexton特徴(Semantic Texton Forests)、色ヒストグラム、ＨＯＧ（Histograms of Oriented Gradients）、ＨＯＦ（Histograms of Optical Flow）、ＤＯＴ(Dominant Orientation Templates)、ＭＢＨ（Motion Boundary Histogram）、分離型格子隠れマルコフモデル等を用いる。入力画像からこれらの特徴量を得る前に、空間領域や時間領域でのローパスフィルタや、非特許文献１に記載のオプティカルフロー処理などが適用され得る。
　追跡器７は、各フレーム毎に上記の検知器によって検知された候補領域にラベル付けをし、更に時間方向に関連付けする。これにより、波の谷間に見え隠れする泳者などを持続的に追跡し、また単発的に誤検知された領域を除去する。本例の追跡器７には、カルマンフィルタ、パーティクルフィルタ、ベイズフィルタ、ミーンシフト等の周知の手法が適用されうる。それらの処理に必要であれば、追跡器７には候補領域における元の画像が提供される。追跡器は、近未来の位置を予測することもできる。海上の所定の位置に設置されたブイや標識等は、その位置に基づいて除去される。追跡器７は、画像座標で表される位置で追跡することもできるが、カメラの設置高さ、俯角、画角（ズーム倍率）等に基づいて、実世界に対応するグローバル座標系の位置で追跡することが望ましい。画像座標とグローバル座標とは、投影行列若しくはホモグラフィ行列（物***置を１つの平面上に限定する場合）によって変換可能である。追跡器７は、異なる検知器からの候補領域の座標を統合して追跡することができるが、その際は、軌跡の生成に利用された候補領域がどの検知器から提供されたかを示す情報、またその候補領域の他の属性を収集し保持する。また、追跡を通じて、前フレームからの位置の変化などの新たな属性が追加されうる。
　脅威評価器８は、候補領域が何によるものかを識別したうえで、その移動（特に陸への接近）の傾向を考慮して、総合的に脅威を評価し多段的な発報を行う。例えば、候補領域が、５秒以上存在する、海面の外乱ではない何らかの物体として最初に認識され、その後の物体の接近に伴い２０ピクセル程度の大きさになった候補領域は、その種類の識別に成功する。また、追跡を続けることで陸への接近の傾向が判別できるようになる。つまり、脅威の程度は変化しうるので、脅威評価器８は、脅威が高まる度に、それに応じた警報を発する。これにより、海上警備の利便性および安全性を向上させることが期待できる。
　候補領域の識別は、追跡器７が収集した候補領域の属性と、もし利用可能であれば特徴量ベース検知器６の判別結果に基づいて、人によって設定されたルールベースの手法や周知の機械学習手法を用いて達成される。ここで、船舶、泳者、浮遊物が呈するであろう属性を考えると、下表の様になる。
Figure JPOXMLDOC01-appb-T000001
　エッジを評価する対象が短時間背景画像である場合、動きの度合いによって像の輪郭の明瞭度が異なることに注意する。つまり、動きが多いとエッジが薄くなり、動きが少ないとエッジが本来のエッジに近くなる。実際には、表１よりも複雑な（例えば、昼夜で別のテーブルを参照する）判断が必要な場合がある。候補領域の識別の結果は、差分法ベース検知器４、シルエット状況下の検知器５、特徴量ベースの検知器６にフィードバックされ、パラメータの調整や、オンライン学習（強化学習）に利用される。
　脅威の程度は、明確な侵入の意図が推定される状況において、特に高くなる。たとえば、10秒間に10m以上岸に近づいたと判断された場合、それが推定される。
　海面状況取得器３から脅威評価器８までの構成は、DSP(Digital　Signal　Processor)、FPGA(Field-Programmable　Gate　Array)、その他の画像信号処理に特化したプロセッサを用いて実装されうる。実質的に10000 MMACS（Million　Multiply-Accumulates　Per　Second）以上の演算性能を得るため、DSPとFPGAの協調設計、特にDSPではメモリ帯域を消費するような処理群をFPGA上でパイプライン化した構成が好ましい。
　図２に、本実施例の海面状況取得器３の機能ブロック図が示される。
　水平線推定器３１は、映像ソース２からの任意の映像若しくは短時間背景画像等に、Canny エッジ検出フィルタとハフ変換を適用し、略水平の線分の位置を決定する。ここで得られた水平線の位置は、差分法ベース検知器４から追跡器７に適宜提供され、水平線より上の領域（マスク領域）で検知を行わないようにする。また水平線の位置は、追跡器７等で、候補領域と水平線との見かけの距離を算出する際に用いられる。
　簡易推定器３２は、映像ソースからの入力映像中の所定の複数の評価領域（画素ブロック）内で、画素のモデルを推定し、領域毎に２つのしきい値を出力する。海面の画像は、一般的な差分法における背景画像と同様に、混合ガウス分布モデルによって表現されうる。本例では海面を想定しており、波の起伏に対応して明るい部分と暗い影の部分があり、更に太陽光が直接反射しているハイライト部分も想定して、２から３の分布の存在が推定される。
　しきい値の決定には、ヒストグラムの谷の濃度値を用いるモード法、分別されるべき領域の面積比に従って、ヒストグラムの濃度の低い方からの画素数を決定するP－タイル法、微分ヒストグラムの値が最大となる濃度値を用いる微分ヒストグラム法、大津のしきい値決定法、画像中の部分ごとの性質に合わせてしきい値を変化させる変動しきい値法などが利用できる。
　本例では、大津の方法と変動しきい値法を組合せる。すなわち、最初に適当なしきい値を設定し、各画素を画素値に応じていずれの分布モデル（クラス）に振り分け、十分な数のフレームに亘って蓄積した後、画素数や平均と分散を算出する。初期のしきい値に関して、ハイライト部分は飽和した輝度値の画素からできているのでこれを識別するしきい値は容易に決定でき、また、明るい部分と暗い部分に分けるしきい値は、全平均を用いることができる。その後、大津の方法に従い、クラス内分散とクラス間分散の比を最大化するようにしきい値を更新する。これらの処理を領域毎に行われる。また色情報を用いることなく輝度値のみを用いて行うことができる。海面の画像は比較的なだらかであるので、分布モデルは、離散的に設定された評価領域毎に行い、領域の間は補間により推定することができる。或いは、評価領域毎ではなく、画素単位でも算出できる。
　暗部/明部抽出器３３は、推定された分布モデルを簡易推定器３２から受取ると、明部、暗部に相当するクラスの一方を選択する。一例として、分散または画素数が小さい方のクラスを選択する。そして、入力映像の各評価領域およびその付近において、選択したクラスに属する画素の塊の縦方向の画素数（高さ）を算出する。この値は、海面を斜めから俯瞰したときの波の影若しくは照らされた部分の高さと奥行きを含んでおり、実際の高さではない。ここで、小さい方のクラスを選んだ理由は、大きなクラスでは複数の波が連結している可能性が高く、そのような領域を誤って評価しないようにするためである。
　見かけの波高推定器３４は、暗部/明部抽出器３３から受取った塊の高さを、所定の換算式を用いて、波高に換算する。換算式は俯角の関数であり、さらに経験的に補正されうるが、俯角が小さくなるほどその影響は小さい。俯角は、予め設定されているか、或いはキャリブレーション実行器７２（後述）から提供される。波高には本質的にばらつきがあるため、複数のサンプルを取得してソートし、上位何％～何％の間を平均化する等の処理を行うことが望ましい。
　波数及び周期推定器３５は、映像ソース２からの映像を元に、各領域付近での波数と周期を推定するとともに、もし可能であれば、それらに基づいて、より信頼性の高い波高を算出する。また、脅威評価器８から要求があった時には、その場所における波の波高や周期等を算出して提供する。各領域の間の場所の波高は、見かけの波高推定器３４が推定した波高を補間して算出する。波数等の推定には様々な方法があるが、方向や周期の異なる複数の波が重なっている場合、特に浅い俯角の映像からの推定は容易ではない。必要に応じて、沖から岸に向かってくる1方向の波のみの存在を想定する。周期は、領域内のある画素について、時系列の画素値若しくはクラス分け結果をＦＦＴしピークを検出することで得られる。より簡易的には、暗部/明部抽出器３３で検出された塊の上端や下端の位置を時系列に収集し、平均値との交差回数で、収集時間を除算する方法でも得られる。
　水深推定器３６は、波の特性に基づいて、その場所の水深を推定する。例えば非特許文献４のように、下記の微小振幅波の分散関係式を用いて算出することができる。
Figure JPOXMLDOC01-appb-M000002
 ここで、Tは波の周期、ｇは重力加速度、ｈは水深である。水深が浅くなるほど波高が高く波長が短くなる現象は浅水変形と呼ばれ、複雑な不規則波においても同様の傾向がみられる。浅水変形が顕著に観察されるのは、水深が（沖での）波長の１／２よりも浅い場所に限られる。水深推定器３６は、水深の絶対値を得る必要は無く、波高が沖合に比べて何倍になっているかを示す浅水計数を算出するだけでもよい。
　図３に、本実施例の差分法ベース検知器４の機能ブロック図が示される。差分法ベース検知器４は、短時間背景画像生成器４１、長時間背景画像生成器４２、更新係数設定器４３、絶対差分器４４、２値化器４５、しきい値設定器４６、時間フィルタ（真値保持器）４７、ラベリング器４８を備える。
　短時間背景画像生成器４１は、内部にフレームメモリを有し、映像ソース２から所定のレートで画像フレームが入力されるたびに、その画像フレームとフレーメモリ内の画像とを所定の重み（更新係数ρ1）で合成し、短時間背景画像として出力するとともに、フレームメモリに上書きする。この処理は時間フィルタ、リカーシブフィルタ、IIRフィルタ、指数移動平均などとも呼ばれ、一例として０．数秒程度の時定数を有する。
　長時間背景画像生成器４２は、内部にフレームメモリを有し、映像ソース２から所定のレートで画像フレームが入力されるたびに、その画像フレームとフレーメモリ内の画像とを所定の重み（更新係数ρ2）で合成し、長時間背景画像として出力するとともに、フレーメモリに上書きする。一例として、長時間背景画像生成器４２は、短時間背景画像生成器４１と同等の構成を有するが、削減されたフレームレート、若しくは、比較的小さな更新係数のもとで動作し、一例として数秒程度若しくはそれ以上の時定数を有する。
　長時間背景画像生成器４２は、映像ソース２からの画像に代えて、短時間背景画像生成器４１が出力する短時間背景画像を用いることができる。長時間背景画像生成器４２は、単純に１フレームの長時間背景画像を生成するものに限らず、混合分布モデルに基づいて、複数のフレームの背景画像（平均値画像）や分散値画像を生成してもよい。これは周知のコードブック法を用いて実装されうる。モデル化には簡易推定器３２の結果を流用できる。
　更新係数設定器４３は、更新係数（更新速度）ρ1、ρ2を、海面状況取得器３で得られた時間的周期や、候補領域の検出数などに応じて自動的に調整する。更新係数ρ1は、波の周期（数秒～１０数秒）と同程度の時定数で更新が行われるように、例えばρ1＝β・ｆにより設定される。ここで、ｆは波の周波数、βは所定の係数であり、追跡器７で追跡に失敗する候補領域の割合に応じて常に調整されうる。一方更新係数ρ2は、20～30分程度と言われる波の状態の持続性を基準にして、その持続性よりも短く且つ波の周期よりも長い時定数で更新が行われるように設定される。
　絶対差分器４４は、短時間背景画像と長時間背景画像の間で、対応する画素の値の差分の絶対値を算出し、差分画像として出力する。入力映像がカラーの場合、色毎にこの処理が行われる。なお、画素毎の差分に代えて、注目する画素近傍のヒストグラムの差分を算出してもよい。
　２値化器４５は、絶対差分器４４からの差分画像をしきい値と比較して２値化し、２値化画像を出力する。しきい値入力映像がカラーの場合、色毎に存在するしきい値が用いられ、１色でもしきい値を越えている場合に１としたり（つまり論理和）、しきい値の超過分の和を更にしきい値処理したりすることができる。また、しきい値は、検知漏れが少ない反面誤検知が多いものと、誤検知が多い反面検知漏れが多いものの２種類を用いて、それぞれの処理結果が出力されるようにしてもよい。
　モデルベースの長時間背景画像を利用できる場合、２値化器４５は、短時間背景画像の画素毎に、その画素が属するであろう分布モデルの長時間背景画像における、対応画素（ブロック）の画素値との差分を算出する。そしてその差分値の絶対値を、対応画素の分散に基づくしきい値と比較することで達成され、０又は１の論理値が出力される。入力映像における画素をモデル化した場合、短時間背景画像では、厳密には、異なる分布モデルに属する画素が時間的に重なりあったものとなる。そのためしきい値は、当該分布モデルの分散に、当該モデルと隣接モデルのそれぞれの平均の差の１／２を加えた値を基準として調整されうる。
　しきい値設定器４６は、候補領域の検出に適したしきい値を適応的に設定する。一例として、差分画像中の所定の複数の領域毎に、画素値（絶対差分）を平均することで、絶対値化する前の分布における標準偏差を得て、この標準偏差に所定の係数を乗じてしきい値とする。領域に属しない画素の位置では、近傍の領域で得られたしきい値を補間して適用する。係数は人によって設定されるほか、候補領域の検出状況に応じて調整されうる。なお、入力映像の画素を正規混合モデル化している場合、短時間背景画像では、異なる分布モデルに属する画素が時間的に重なっている可能性がある。そのためしきい値は、当該分布モデルの分散に、当該モデルと隣接モデルのそれぞれの平均の差の１／２を加えた値を基準として調整されうる。
　時間フィルタ４７は、内部にフレームメモリを有し、画素毎に、その画素が真値となった直近のフレームのインデックスを保持し、２値化画像を受取る都度、そのインデックスを更新しながら、そのインデックスが直近の過去ｎフレーム以内であれば真値となるような画像（平滑化２値画像）を出力する。この処理により、一度真値となった画素はその値を最低ｎフレーム維持することとなり、真値画素の塊の形が、物体の形に近づく。なお、時間領域に限らず、メディアンフィルタ等の空間領域フィルタを施してもよい。
　ラベリング器４８は、時間フィルタ４７からの２値化画像の中から、８近傍法や輪郭追跡法などを用いて、真値を持つ画素の塊を候補領域として抽出し、それらにインデックスを与えるとともにそれらの属性を取得して出力する。なおこの処理を追跡器７で集中的に行う場合、ラベリング器４６は不要である。ラベリング器４６は、直前のフレームからの抽出結果（インデックステーブル）を利用して現在のフレームから抽出を行う場合、簡易的な追跡も成し得る。
　映像ソ―ス２が、別体に設けられた可視領域カメラと遠赤外線カメラからそれぞれ得られる映像である場合、差分法ベース検知器４は、両映像について独立に処理を行うことができる。もし必要であれば、短時間背景画像生成器４１からラベリング器４８までの構成を２セット設けてもよい。ただし、２セットは同一構成である必要は無く、遠赤外線映像を処理する側では、短時間背景画像生成器４１や時間フィルタ４７等を省略することができる。
　図４に、本実施例のシルエット状況下の検知器５の機能ブロック図が示される。シルエット状況下の検知器５は、２値化器５１、しきい値設定器５２、ラベリング器５３、時間フィルタ５４を備える。２値化器５１は、映像ソース２からの映像を、２値化器４５と同様に２値化し、２値化画像を出力する。ただし、画素値がしきい値より小さい時に真、しきい値以上の時に偽とする様態で２値化する。２値化器５１は、画素の輝度値のみを２値化できれば十分である。
　しきい値設定器５２は、２値化器５１で用いるしきい値を提供する。このしきい値は、飽和（ハイライト）と暗黒を弁別するだけなので、固定的に与えることができ、或いは簡易推定器３２で生成されたしきい値を利用してもよく、ラベリング器５３で検出した候補領域のサイズに応じて、例えば想定される物体のサイズに比べて大きすぎる領域が検出されたときにしきい値をより小さくするような様態で、調整してもよい。
　ラベリング器５３は、２値化器５１からの２値化画像を、ラベリング器４６と同様に処理してラベリングする。必須ではないが、ラベリング器５３は、縦横比や充填率、輪郭画素数などの、候補領域の輪郭の複雑さを示す属性を取得することが望ましい。
　時間フィルタ５４は、ラベリング器５３によるフレーム間の簡易的な対応付け、もしくは追跡器７の追跡結果を利用して、フレーム間で対応する候補領域の２値化画像を、重心を一致させて平均化し、候補領域の画像として出力する。シルエット映像では、物体は黒く映り、物体自身から輝度や色情報が得られないため、２値化画像の輪郭のみから物体認識しようとすると、精度の低下が危惧される。一方、時間フィルタ５４で得られる画像に含まれるモーションブラーは、追加的な特徴量を与え、精度の改善に役立つことが期待される。なお２値化画像に代えて、候補領域の原画像を平均化してもよく、平均化以外の時間領域操作を施してもよい。候補領域の原画像は、映像ソース２からの映像フレームと、候補領域の２値化画像との論理積演算によって得られる。時間フィルタ５４は、必須ではない。
　図５に、本実施例の特徴量ベースの検知器６の機能ブロック図が示される。特徴量ベースの検知器６は、周知のランダムフォレストを利用して物体を識別するもので、パッチ指定器６１、サイズ正規化器６２、決定木実行器６３、確率統合器６４、クラス判別器６５、オンライン学習器６６、を備える。
　パッチ指定器６１は、差分法ベース検知器４やシルエット状況下の検知器５で検出された候補領域を適切に含む画像パッチを適用して、映像ソース２の映像から部分画像を取り出す。パッチの形状は通常、正方形である。パッチ指定器６１は、特徴量ベースの検知器６の処理能力を超えない限りで、複数の画像パッチを任意に生成できる。例えば１つの候補領域に基づいて、位置や大きさを少し異ならせた複数のバージョンのパッチを適用してもよく、あるいは候補領域が無くても、海面状況取得器３で検出した海面領域内でパッチを順次走査して適用してもよい。そのときのパッチのサイズは、追跡器７で得られたカメラパラメータに基づいて、パッチの場所に船舶等が存在した場合に映るであろうサイズ（ただし後述の正規化サイズを下回らない）に設定する。逆に、１つの映像フレームから検出された候補領域が多すぎる場合、領域の大きさに応じた優先度、脅威評価器８からの要求、或いはラウンドロビンなどの基準で、候補領域を選別する必要がある。また、決定木実行器６３が、異なる時刻のフレームもしくは異なる時間領域操作を受けたフレームから特徴量を取り出すものである場合、同一の画像パッチをそれぞれフレームに対して適用する。
　サイズ正規化器６２は、パッチ指定器６１が切り出した部分画像を、決定木実行器６３が受け取ることができる所定のサイズに正規化する。サイズは、各画素が完全なカラー情報を有する４：４：４フォーマットであれば、例えば７×７画素で足りる。
　決定木実行器６３は、事前の学習により作成されたT個の決定木をそれぞれトラバースし、たどり着いた葉ノードに対応するクラスの確率を出力する。決定木の分岐は、分岐関数を評価することにより行う。分岐関数は、一例として、画像パッチ内の特定の１乃至４つの画素の値の加減算の結果をしきい値処理するものであり、Semantic Texton Forestsなどが知られる。各葉ノードには、学習に用いたサンプルに関して、そのクラスの事後確率ｐ（c|v）＝|Sc|/|S|が保持されており、その値を読み出すだけで良い。なおｐ（c|v）は、ｖを入力したときにクラスｃに識別される確率であり、|S|は学習に用いたサンプル集合Sにおけるサンプルの数、|Sc|はSのうちクラスcに属するサンプルの数である。本例では、クラスは、船舶、人、浮遊物、海面、その他からなる５つ若しくはそれ以上とする。　本例の決定木実行器６３の特徴として、いくつかの決定木において、分岐関数が使用する値（説明変数）は、画像パッチに由来するもの限らず、候補領域の属性、例えば位置（距離）、大きさ、輪郭の複雑さ、平均輝度等を含む。
　確率統合器６４は、クラス毎に、各決定木から得られた事後確率ｐを統合する。あるクラスｃにたどり着いた木が１つもなければ確率は０であり、複数の木があれば、それぞれの事後確率ｐを算術平均、幾何平均、最大値等によって統合する。
　クラス判別器６５は、統合された事後確率ｐの内、最大の１つに対応するクラスを、決定し、識別結果として出力する。
　オンライン学習器６６は、運用中のデータを用いて、能動学習、半教師あり学習、トランスダクティブ学習等を行い、あるいはラベル伝搬によって事前のオフライン学習と同じアルゴリズムによる学習を継続し、性能を向上させる。能動学習では、何らかの発報が為され操作者が目視で物体を識別した結果を、学習機械に与える。例えば、発報の信頼性（クラス判別器の出力する確率）が低いもの、識別が間違っていたもの或いは目視でも紛らわしいと思われるもの、操作者の主観で特に覚えさせたいと思うもの、その他、識別境界の決定に貢献すると期待できるデータが、フィードバックされうる。なおAdaboostなどの、マージンの大きい訓練データで学習させたほど汎化誤差が小さくなるアルゴリズムでは、それに適したデータをフィードバックさせるべきである。
　トランスダクティブ学習は、操作者によるラベルをテストデータとして集積し、このテストデータでの分類誤りを最小化するコンセプト及び手法である。決定木実行器６３での分岐関数や事後確率の学習、確率統合器６４でのアンサンブル学習には、例えばBrownBoost等の様々な周知の手法が利用できる。ブースティングは、既存のバージョンの識別器で誤認識された訓練データに大きな重みを与えて新たなバージョンの識別器を生成するメタアルゴリズムである。　ラベル伝搬では、現在のクラス判別器６５の識別結果を仮のラベルとして使用する。単純な例では、葉ノードが保持する事後確率ｐを更新する。
　図６に、本実施例の追跡器７の機能ブロック図が示される。追跡器７は、座標系変換器７１、キャリブレーション実行器７２、潮位取得器７３、属性統合器７４、カルマンフィルタ７５を備える。
　座標系変換器７１は、差分法ベース検知器４乃至特徴量ベース検知器６から、候補領域の属性を受取り、候補領域の座標や大きさを、画像（シーン）座標の値から、グローバル座標の値に変換する。一般には、投影行列Pの逆行列Vを用いることで、同次座標（斉次座標）表現された画像座標は、グローバル座標に変換される。
Figure JPOXMLDOC01-appb-M000003
 ここで、sは、画像座標における奥行の逆数に相当する値で、候補領域のグローバル座標における海抜ｚRをｚworldに与えることで、下記の様に算出される。
Figure JPOXMLDOC01-appb-M000004
 海上監視の場合、物体の位置はグローバル座標においてZ＝０（つまり海抜０）と仮定することができる。なお、上式における同次座標表現のグローバル座標は、最下行の値w = h41・uimage+ h41・vimage+ h43・sで除算することで、ユークリッド座標となる。このようにｚworldに定数を与えることは、結果的に、下記のホモグラフィ変換もしくはDirect　Linear　Transformと等価である。
Figure JPOXMLDOC01-appb-M000005
 ここで、(u1, v1)..(un, vn)は、校正用のｎ個の点の画像座標、(x1, y1)..(xn, yn)はそれらの点のグローバル座標（メトリック）、ｎは４以上の自然数である。
　なお、物体との距離が遠い場合、物体と水平線との見かけの距離から推定される、カメラと物体との距離Dを用いて、グローバル座標での位置を補正することができる。例えば、カメラの位置をグローバル座標の原点としている場合、以下のように元の座標の距離情報をDに置き換える様態で補正する。
Figure JPOXMLDOC01-appb-M000006
　キャリブレーション実行器７２は、グローバル座標への変換に必要な投影行列P若しくはホモグラフィ行列H或いはカメラパラメータを算出する。投影行列Pは、内部カメラパラメータ行列Aと、外部カメラパラメータ（運動パラメータ）行列Mの積で与えられる。内部カメラパラメータ行列Aは、焦点距離、画素ピッチの縦横比などによって決まり、外部カメラパラメータ行列Mは、カメラの設置位置や撮影方向によって決まる。投影行列Pは、11の自由度を有し、良く知られたZ. Zhang やTsaiの方法を用いて６以上の既知の点から推定できる。
　潮位取得器７３は、キャリブレーション実行器７２内に設けられ、もし利用可能であれば、より正確な海面水位を取得してキャリブレーション実行器７２に提供する。水位は、海面の規定の場所に設けられた浮遊するブイや標識の高さ位置に基づいて推定したり、映像ソース２の映像に映りこんだ海岸線の位置や人工構造物に対する水面の位置などから画像処理技術を用いて推定したりすることができる。或いは、潮位情報を外部から随時取得したり、潮汐（天文潮）データを内部に保持し暦に応じて読み出すようにしてもよい。
　属性統合器７４は、差分法ベース検知器４乃至特徴量ベース検知器６で得られた複数の候補領域を、過去に得られた対応する候補領域と関連付け、各候補領域を追跡しているカルマンフィルタ７５に渡すとともに、カルマンフィルタ７５から追跡結果を受取り、同一であると推定された候補領域の属性を統合、追加或いは更新する。関連付けは、候補領域の属性、特にグローバル座標で表現された位置座標や大きさ、速度が互いに類似するものを対応付ける様態で行われる。複数の検知器から同一の物体に由来する候補領域がそれぞれ得られたとしても、属性の類似性に基づいてそれらは統合される。また少なくとも１回追跡に成功すると、位置の変化に基づいて、軌跡や速度等の新たな属性が追加され、以後追跡が成功するたびに、その他の属性と同様に更新もしくは追加される。あるフレームから、単一の物体に由来する候補領域が複数に***して得られていたとしても、軌跡の共通性やサイズなどを考慮して、それらを統合することができる。候補領域は、追跡の継続によって、存在することが確からしい物体へと変わっていく。追跡が中断した場合、属性統合器７４は現在の想定位置付近での候補物体の検知の試行を、特徴量ベース検知器６に要求することができる。物体が映像ソース２の視界の外に出ることによる追跡の中断を避けるため、現在の想定位置が視野外であるかもしくは視野外に近づいているかどうかを、画像座標もしくはグローバル座標で判断し、カメラを搭載している電動雲台を制御することができる。
　カルマンフィルタ７５は、属性統合器７４から候補領域の位置座標を受取り、候補領域毎にカルマンフィルタ処理を行い、推定された位置を出力する。推定された位置は、低減されたノイズを有する。カルマンフィルタ７５は、内部的にモデルの推定を行うため、算出された位置の分散は、属性統合器７４における関連付けのしきい値として利用され得る。
　図７に、本実施例の脅威評価器８の機能ブロック図の一例が示される。脅威評価器８は、遠赤画像輝度評価器８１、位置変化評価器８２、大きさ評価器８３、縦横比評価器８４、輝度変動評価器８５、エッジ評価器８６、重点度評価器８７、その他の評価器８８、識別器８９、及び、発報制御器９０を有する。遠赤画像輝度評価器８１から充填度評価器８７までの構成は、分類器８８が使用する特徴量（説明変数）もしくは確率等の定量的な数値を算出するものである。
　遠赤画像輝度評価器８１は、追跡器７が蓄積した候補領域（物体）の属性の内、遠赤線画像の候補領域における輝度を評価し、それを説明する数値を出力する。一例として、候補領域中の輝度の平均値に所定の係数を乗じた値を出力する。係数は、各特徴量の分散を正規化する意味を含む。或いは、その平均輝度が得られたときにそれが船舶、浮遊物、もしくは遊泳者である事後確率をそれぞれ出力してもよい。以降の他の評価器でも同様である。
　位置変化評価器８２は、蓄積した候補領域の属性の１つである重心位置の時系列から、変動の周期や幅（波高）を算出し、海面上取得器３により得られた周期や波高との一致度、又は、位置変化の直線性や等速性の程度を数値化して出力する。波高は見かけの波高、実際の波高のいずれで比較してもよく、比較のために必要であれば適宜座標変換を行う。或いは候補領域の付近で、暗部/明部抽出器３３が抽出している明部又は暗部の縦方向位置の時系列と、上記重心位置の時系列との、統計的な相関値を計算してもよい。一方、直線性や等速性の程度は、一例として、加速度の大きさ（絶対値もしくは速度に垂直な成分）の平均値を平均速度で除算することにより数値化できる。このときに用いる候補領域の位置は、カルマンフィルタ７５で処理される前のものや、画像座標におけるものでもよい。
　大きさ評価器８３は、蓄積した候補領域の属性の１つである大きさ（ワールド座標）を時間平均化して評価した値を出力する。なお時間平均化に代えて、中央値を用いてもよい。他の評価器でも同様である。
　縦横比評価器８４は、蓄積した候補領域の属性の１つである縦横比を時間平均化して評価した値を出力する。
　輝度変動評価器８５は、蓄積した候補領域の属性の１つである平均輝度の時系列から、統計上の分散や偏差のような、ばらつきの度合いを評価した値を出力する。
　エッジ評価器８６は、蓄積した候補領域の属性の１つであるエッジ量を時間平均化して評価した値を出力する。
　充填度評価器８７は、蓄積した候補領域の属性の１つである充填度を時間平均化して評価した値を出力する。
　その他の評価器８８は、候補領域の属性等に基づいて、その他の特徴量もしくは識別器８９のパラメータを出力する。例えば、映像ソースの種類（可視/遠赤）や、日照（昼/夜）に関わる特徴量、もしくはそれに応じて識別器を切替える信号を出力する。
　識別器８９は、事例ベース推論（k近傍法）、決定木、ロジスティック回帰、ベイズ推論（隠れマルコフモデルを含む）、パーセプトロン等の周知技術を用いて構成された学習済みの識別器であり、候補領域の識別（分類）結果及び/または各分類の確率を出力する。評価器８９の内部では、その他の評価器８８の出力に応じて、パラメータや学習機械が切り替えられうる。もし、特徴量ベース検知器６による識別結果が利用できるときは、その結果と統合してもよく、ある候補領域について遠赤画像と可視画像の双方で各評価値が得られている場合、それぞれについて識別した結果統合してもよい。遠赤画像輝度評価器８１から重点度評価器８７が、各分類の確率を出力するものである場合、識別器８９はそれらを統合するアンサンブル学習器で構成され得る。
　侵入度評価器９０は、蓄積した候補領域の属性の１つである、カルマンフィルタで処理された位置座標の系列から、領海への侵入度もしくは陸への接近度、或いはそれらの意図もしくは可能性に関する評価値を出力する。簡易な例では、現在の位置（グローバル座標）を、予め保持している地図の海岸線（基線）や領海線との最短距離を評価値とすることができる。しかし岬の先を通過するような侵入意図のない船に対して発報する可能性がある。そのため、周知の機械学習手法を用いて多数の軌跡を学習させ、平常時から観察される軌跡とは異なる軌跡に反応するような外れ値（異常値）検知を行ったり、行き先推定を行ったりして、それらの値に応じて評価値が変化することが望ましい。
　発報制御器９１は、識別器８９による物体の識別結果と、侵入度評価器９０による評価値とに基づいて、侵入の脅威の程度を表わす連続的な或いは十分に多段階の評価値を出力するとともに、その評価値が設定されたしきい値を跨ぐ変化をするたびに、アラームを出力する。識別器８９の識別結果は通常、確率を示しているが、もし１つの選ばれたクラスを指し示すだけの結果であっても、カルマンフィルタ７５による追跡期間が長いほど、もしくは、候補領域の見かけのサイズが大きいほど高まるような信頼性を用いることができる。
　本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。例えば短時間背景画像を用いず、映像フレームと長時間背景画像を差分処理してもよく、波による差分が多数生じるものの、特徴量ベースの検知器６等における機械学習によってそれらを分別できる可能性がある。
　また、本発明は、例えば、本発明に係る処理を実行する方法或いは装置や、そのような方法をコンピュータに実現させるためのプログラムや、当該プログラムを記録する一過性ではない有形の媒体などとして提供することもできる。
 　本発明は、ＣＣＴＶ（Closed-Circuit Television）システム等に適用できる。
　１　監視システム、　　２　監視カメラ装置、　　３　海面状況取得器、　　４　差分法ベース検知器、　５　シルエット状況下の検知器、 　６　特徴量ベース検知器、　　７　追跡器、　　８　脅威評価器。

Claims (8)

  1. 　映像ソース(2)からの入力映像に基づいて、前記入力映像の背景である水面の波の振幅と周期を含む波の属性を自動的に推定する海面状況取得器(3)と、
    　前記入力映像から基準画像を生成し、前記基準画像に比べて値が高速に変化する画素を前記入力映像から検出する差分法ベースの検知器(4)と、
    　実質的に飽和した輝度を有する背景と、実質的に暗黒の輝度を有する物体が映った前記入力映像から、暗黒領域を物体候補として検出する、シルエット状況下の検知器(5)と、
    　前記入力映像から画像特徴量を抽出し、予め機械学習した物体の種類に該当する前記画像特徴量を発見したときに、前記物体の種類を出力する特徴量ベースの検知器(6)と、
    　前記差分法ベースの検知器、シルエット状況下の検知器及び特徴量ベースの検知器によって検知された候補領域にラベル付け、及び時間方向の関連付けをし、統合された前記候補領域の属性を更新する追跡器(7)と、
    　前記候補領域の原因となった物体を識別し、前記物体の移動の傾向を考慮して、総合的に脅威を評価し多段的な発報を行う脅威評価器(8)と、
    を備えた水上侵入検知システム。
  2. 　差分法ベースの検知器(4)、シルエット状況下の検知器(5)、特徴量ベースの検知器(6)、及び追跡器(7)の内の少なくとも１つは、前記候補領域の属性の属性として、候補領域の位置、大きさ、及び、輪郭の複雑さ、平均輝度を少なくとも取得もしくは更新し、
    　前記特徴量ベースの検知器(6)は、前記画像特徴量の他に、前記候補領域の属性を説明変数として使用し、
    　前記威評価器(8)は、前記物体の陸への接近の傾向が強いほど脅威を高く評価することを特徴とする請求項１記載の水上侵入検知システム。
  3. 　前記差分法ベースの検知器(4)は、
    　内部にフレームメモリを有し、映像ソースから所定のレートで画像フレームが入力されるたびに、前記画像フレームとフレーメモリ内の画像とを、第１更新係数に対応する重みで合成し、短時間背景画像として出力するとともに、フレームメモリに上書きする短時間背景画像生成器(41)と、
    　内部にフレームメモリを有し、前記画像フレームもしくは短時間背景画像が入力されるたびに、前記画像フレームもしくは短時間背景画像とフレーメモリ内の画像とを、第２更新係数に対応する重みで合成し、長時間背景画像として出力するとともに、フレームメモリに上書きする長時間背景画像生成器(42)と、
    　前記海面状況取得器(3)で得られた波の属性に基づいて、前記第1及び第２更新係数を自動的に調整する更新係数設定器(43)と、
    　前記短時間背景画像と前記長時間背景画像の間で、対応する画素の値の差分の絶対値を算出し、差分画像として出力する絶対差分器(44)と、
    　前記差分画像をしきい値と比較して２値化し、２値化画像を出力する２値化器(45)と、
    　前記候補領域の検出に適したしきい値を適応的に設定するしきい値設定器(46)と、
    　前記２値化画像で真値となった画素に対して、その値を最低ｎフレームに亘って維持させる時間フィルタ(47)と、
    　前記時間フィルタからの２値化画像の中から、真値を持つ画素の塊を前記候補領域として抽出し、それらにインデックスを与えるとともにそれらの属性を取得して出力するラベリング器(48)と、を備えることを特徴とする請求項１乃至２記載の水上侵入検知システム。
  4. 　シルエット状況下の検知器(5)は、
    　前記入力映像を、画素値がしきい値より小さい時に真、しきい値以上の時に偽とする様態で２値化する２値化器(51)と、
    　前記２値化器(51)で用いるしきい値を提供するしきい値設定器(52)と、
    　２値化器(51)からの２値化画像の中から、真値を持つ画素の塊を前記候補領域として抽出し、それらにインデックスを与えるとともにそれらの属性を取得して出力するラベリング器(53)と、
    　フレーム間で対応する前記候補領域の２値化画像を、重心を一致させて平均化し、候補領域の画像として出力する時間フィルタ(54)と、を備えることを特徴とする請求項１乃至３記載の水上侵入検知システム。
  5. 　前記特徴量ベースの検知器(6)は、
    　前記差分法ベース検知器(4)又は前記シルエット状況下の検知器(5)で検出された前記候補領域を適切に含む画像パッチもしくは順次走査される画像パッチを適用して、映像ソース２の映像から部分画像を取り出すパッチ指定器(61)と、
    　パッチ指定器(61)が切り出した部分画像のサイズを正規化するサイズ正規化器(62)と、
    　事前の学習により作成された複数個の決定木をそれぞれトラバースし、たどり着いた葉ノードに対応するクラスを出力する決定木実行器(63)と、
    　各決定木から得られた結果をクラス毎に統合する統合器(64)と、
    　統合器で統合された結果のうち、最も確からしい１つのクラスを決定し、識別結果として出力するクラス判別器(65)と、
    　運用中のデータを用いて、性能を向上させるオンライン学習器(66)と、を備えることを特徴とする請求項１乃至４記載の水上侵入検知システム。
  6. 　前記海面状況取得器(3)は、
    　前記入力映像から水平線を検出し、映像フレームに対する位置を出力する水平線推定器(31)と、
    　前記入力映像の中の所定の複数の評価領域内で、画素のモデルを推定し、推定された分布モデルとして、前記評価領域毎に少なくとも１つのしきい値を出力する簡易推定器(32)と、
    　前記推定された分布モデルに基づいて、前記評価領域毎に前記波の明部もしくは暗部に相当するクラスの一方を選択し、選択したクラスに属する画素の塊の縦方向の画素数を算出する暗部/明部抽出器(33)と、
    　前記塊の縦方向の画素数を、俯角の関数である所定の換算式を用いて、波高に換算する見かけの波高推定器(34)と、
    　前記入力映像に基づいて、前記各評価領域付近での波数と周期を推定する波数及び周期推定器(35)と、
    　波の特性に基づいて、水深もしくは浅水計数を推定する水深推定器(36)と、を備えることを特徴とする請求項１乃至５記載の水上侵入検知システム。
  7. 　追跡器(7)は、
    　前記候補領域の属性を受取り、候補領域の少なくとも座標もしくは大きさを、画像座標の値から、グローバル座標の値に変換する座標系変換器(71)と、
    　グローバル座標への変換に必要なパラメータを算出するキャリブレーション実行器(72)と、
    　カルマンフィルタ(75)と、
    　差分法ベース検知器(4)、シルエット状況下の検知器(5)、特徴量ベース検知器(6)の内の少なくとも１つから得られた複数の前記候補領域を、過去に得られた対応する候補領域と関連付け、各候補領域を追跡している前記カルマンフィルタ(75)に渡すとともに、前記カルマンフィルタ(75)から追跡結果を受取り、同一であると推定された候補領域の属性を統合、追加或いは更新する属性統合器(74)と、を備えることを特徴とする請求項１乃至６記載の水上侵入検知システム。
  8. 　脅威評価器(8)は、
    　追跡器(7)が蓄積した候補領域（物体）の属性の内、遠赤線画像の候補領域における輝度を評価し、それを説明する数値を出力する遠赤画像輝度評価器(81)と、
    　蓄積された前記候補領域の属性の１つである重心位置の時系列と、海面上取得器(3)により得られた波と、の一致度を数値化して出力する位置変化評価器(82)と、
    　蓄積された前記候補領域の属性の１つである大きさを時間平均化して評価した値を出力する大きさ評価器(83)と、
    　蓄積された前記候補領域の属性の１つである縦横比を時間平均化して評価した値を出力する縦横比評価器(84)と、
    　蓄積した前記候補領域の属性の１つである平均輝度の時系列から、ばらつきの度合いを評価した値を出力する輝度変動評価器(85)と、
    　蓄積した前記候補領域の属性の１つであるエッジ量を時間平均化して評価した値を出力するエッジ評価器(86)と、
    　蓄積した前記候補領域の属性の１つである充填度を時間平均化して評価した値を出力する充填度評価器(87)と、
    　前記候補領域を取得した前記映像ソースの種類、又は日照に関わる特徴量もしくは切替え信号を出力するその他の評価器(88)と、
    　前記候補領域の原因となった物体の種類を識別する識別器(89)と、
    　蓄積した前記候補領域の属性の１つである、カルマンフィルタで処理された位置座標の系列から、領海への侵入度もしくは陸への接近度、或いはそれらの意図もしくは可能性に関する評価値を出力する侵入度評価器(90)と、
    　前記識別器(89)による物体の識別結果と、前記侵入度評価器(90)による評価値とに基づいて、侵入の脅威の程度を表わす実質的に連続的な評価値を出力するとともに、その評価値が設定されたしきい値を跨ぐ変化をするたびに、アラームを出力する発報制御器(91)と、を備えることを特徴とする請求項１乃至７記載の水上侵入検知システム。
PCT/JP2016/086774 2016-12-09 2016-12-09 水上侵入検知システムおよびその方法 WO2018105112A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/761,748 US10282622B2 (en) 2016-12-09 2016-12-09 Marine intrusion detection system and method
PCT/JP2016/086774 WO2018105112A1 (ja) 2016-12-09 2016-12-09 水上侵入検知システムおよびその方法
SG11201802247XA SG11201802247XA (en) 2016-12-09 2016-12-09 Marine intrusion detection system and method
JP2018513902A JP6336693B1 (ja) 2016-12-09 2016-12-09 水上侵入検知システムおよびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086774 WO2018105112A1 (ja) 2016-12-09 2016-12-09 水上侵入検知システムおよびその方法

Publications (1)

Publication Number Publication Date
WO2018105112A1 true WO2018105112A1 (ja) 2018-06-14

Family

ID=62487305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086774 WO2018105112A1 (ja) 2016-12-09 2016-12-09 水上侵入検知システムおよびその方法

Country Status (4)

Country Link
US (1) US10282622B2 (ja)
JP (1) JP6336693B1 (ja)
SG (1) SG11201802247XA (ja)
WO (1) WO2018105112A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110793566A (zh) * 2019-10-18 2020-02-14 南京中科智慧生态科技有限公司 一种水体漂浮物智能视觉检测方法
JP2020148550A (ja) * 2019-03-12 2020-09-17 株式会社Ｓｕｂａｒｕ 潜水艦推定装置
JP2021099640A (ja) * 2019-12-20 2021-07-01 富士通株式会社 推論方法、推論プログラムおよび情報処理装置
JPWO2022091620A1 (ja) * 2020-10-28 2022-05-05
WO2022244108A1 (ja) * 2021-05-18 2022-11-24 日本電気株式会社 航走体検出装置、航走体検出システム及び航走体検出方法
JP7382479B1 (ja) 2022-12-08 2023-11-16 ソフトバンク株式会社 画像処理装置、プログラム、及び画像処理方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7119317B2 (ja) * 2016-11-28 2022-08-17 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
CN110463092B (zh) * 2017-04-13 2021-09-17 日本电信电话株式会社 信号分离装置和信号分离方法
US10915631B2 (en) * 2017-12-28 2021-02-09 Intel Corporation Deep learning on execution trace data for exploit detection
EP3534250B1 (en) * 2018-01-18 2021-09-15 Autel Robotics Co., Ltd. Target detection method and unmanned aerial vehicle
KR101978351B1 (ko) * 2018-11-13 2019-05-15 주식회사 하이드로셈 Ｃｃｔｖ 영상 기반의 실시간 자동 유량계측 시스템 및 방법
CN109872483B (zh) * 2019-02-22 2020-09-29 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种入侵警戒光电监测***及方法
CN109919113A (zh) * 2019-03-12 2019-06-21 北京天合睿创科技有限公司 船舶监测方法和***以及港口运营预测方法和***
CN110211317B (zh) * 2019-04-17 2020-09-18 中国水利水电科学研究院 一种水上近程安防***及装置
CN112017214A (zh) * 2019-05-29 2020-12-01 多方科技(广州)有限公司 前景及背景影像判断方法
US11594036B2 (en) * 2019-08-21 2023-02-28 Micron Technology, Inc. Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection
CN112446918A (zh) * 2019-09-04 2021-03-05 三赢科技（深圳）有限公司 图像中目标物体定位方法、装置、计算机装置及存储介质
CN110782481B (zh) * 2019-10-18 2023-09-05 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 无人艇智能决策方法及***
CN111160224B (zh) * 2019-12-26 2022-04-05 浙江大学 一种基于fpga和地平线分割的高铁接触网异物检测***及方法
EP4128034A2 (en) * 2020-04-01 2023-02-08 Sarcos Corp. System and methods for early detection of non-biological mobile aerial target
CN111709928A (zh) * 2020-06-12 2020-09-25 上海海洋大学 一种基于视频的近岸浪高实时检测***
US11742901B2 (en) * 2020-07-27 2023-08-29 Electronics And Telecommunications Research Institute Deep learning based beamforming method and apparatus
CN112329613B (zh) * 2020-11-03 2021-10-15 珠海大横琴科技发展有限公司 海浪影响下船只检测方法、装置、电子设备及存储介质
CN113158965B (zh) * 2021-05-08 2024-03-19 福建万福信息技术有限公司 一种实现海漂垃圾识别的仿视觉识别方法、设备和介质
US11990045B2 (en) * 2021-07-09 2024-05-21 Kawasaki Motors, Ltd. Periphery recognition support system and method for personal watercraft
CN113705501B (zh) * 2021-09-02 2024-04-26 浙江索思科技有限公司 一种基于图像识别技术的海上目标检测方法和***
CN115144411B (zh) * 2022-09-05 2022-12-06 国家卫星海洋应用中心 基于卫星散射计的海冰检测的方法、装置、设备和介质
CN116634110B (zh) * 2023-07-24 2023-10-13 清华大学 一种基于语义编解码的夜间智能养殖监控***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208073A (ja) * 2001-01-10 2002-07-26 Secom Co Ltd 侵入監視装置
JP2002352340A (ja) * 2001-05-30 2002-12-06 Hitachi Ltd 画像監視装置
JP2008078926A (ja) * 2006-09-20 2008-04-03 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013201714A (ja) * 2012-03-26 2013-10-03 Central Research Institute Of Electric Power Industry 移動体の画像判別装置および移動体の画像判別方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4302801B2 (ja) 1998-10-12 2009-07-29 株式会社日立国際電気 物体追跡方法及び物体追跡装置
JP4117073B2 (ja) 1998-11-18 2008-07-09 株式会社日立製作所 監視装置
JP2002279429A (ja) 2001-03-15 2002-09-27 Hitachi Kokusai Electric Inc 侵入物体検出方法
JP4476517B2 (ja) 2001-05-15 2010-06-09 三菱電機株式会社 画像処理装置
JP5021913B2 (ja) 2005-06-27 2012-09-12 三菱重工業株式会社 海上における対象物の捜索方法及びシステム並びに対象物の捜索方法を実行する記録媒体
US7277823B2 (en) * 2005-09-26 2007-10-02 Lockheed Martin Corporation Method and system of monitoring and prognostics
JP4921857B2 (ja) 2006-06-07 2012-04-25 株式会社東芝 目標検出装置及び飛しょう体
RU2484531C2 (ru) 2009-01-22 2013-06-10 Государственное научное учреждение центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики (ЦНИИ РТК) Устройство обработки видеоинформации системы охранной сигнализации
JP5709255B2 (ja) 2011-04-05 2015-04-30 株式会社日立国際電気 画像処理方法および監視装置
JP2013181795A (ja) 2012-02-29 2013-09-12 Mitsubishi Heavy Ind Ltd 浮遊物検出装置および浮遊物検出方法
JP5905646B2 (ja) * 2013-05-31 2016-04-20 三菱電機株式会社 津波監視システム
JP6319785B2 (ja) * 2013-09-26 2018-05-09 日本電気株式会社 異常潮位変動検知装置、異常潮位変動検知方法、及び異常潮位変動検知プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208073A (ja) * 2001-01-10 2002-07-26 Secom Co Ltd 侵入監視装置
JP2002352340A (ja) * 2001-05-30 2002-12-06 Hitachi Ltd 画像監視装置
JP2008078926A (ja) * 2006-09-20 2008-04-03 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013201714A (ja) * 2012-03-26 2013-10-03 Central Research Institute Of Electric Power Industry 移動体の画像判別装置および移動体の画像判別方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020148550A (ja) * 2019-03-12 2020-09-17 株式会社Ｓｕｂａｒｕ 潜水艦推定装置
JP7273547B2 (ja) 2019-03-12 2023-05-15 株式会社Subaru 潜水艦推定装置
CN110793566A (zh) * 2019-10-18 2020-02-14 南京中科智慧生态科技有限公司 一种水体漂浮物智能视觉检测方法
CN110793566B (zh) * 2019-10-18 2022-01-28 南京中科智慧生态科技有限公司 一种水体漂浮物智能视觉检测方法
JP2021099640A (ja) * 2019-12-20 2021-07-01 富士通株式会社 推論方法、推論プログラムおよび情報処理装置
JP7347198B2 (ja) 2019-12-20 2023-09-20 富士通株式会社 推論方法、推論プログラムおよび情報処理装置
JPWO2022091620A1 (ja) * 2020-10-28 2022-05-05
WO2022091620A1 (ja) * 2020-10-28 2022-05-05 京セラ株式会社 物体追跡装置及び物体追跡方法
JP7425223B2 (ja) 2020-10-28 2024-01-30 京セラ株式会社 物体追跡装置及び物体追跡方法
WO2022244108A1 (ja) * 2021-05-18 2022-11-24 日本電気株式会社 航走体検出装置、航走体検出システム及び航走体検出方法
JP7382479B1 (ja) 2022-12-08 2023-11-16 ソフトバンク株式会社 画像処理装置、プログラム、及び画像処理方法

Also Published As

Publication number Publication date
US20190065859A1 (en) 2019-02-28
JP6336693B1 (ja) 2018-06-06
JPWO2018105112A1 (ja) 2018-12-06
SG11201802247XA (en) 2018-07-30
US10282622B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
JP6336693B1 (ja) 水上侵入検知システムおよびその方法
JP6797860B2 (ja) 水上侵入検知システムおよびその方法
Yang et al. Computer vision models in intelligent aquaculture with emphasis on fish detection and behavior analysis: a review
US11195038B2 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
Kulchandani et al. Moving object detection: Review of recent research trends
CN110298297B (zh) 火焰识别方法和装置
CN109255360B (zh) 一种目标分类方法、装置及***
CN109063669B (zh) 一种基于图像识别的桥区船舶航行态势分析方法及装置
Bullkich et al. Moving shadow detection by nonlinear tone-mapping
Xia et al. In situ sea cucumber detection based on deep learning approach
Tran et al. Vision based boat detection for maritime surveillance
Makantasis et al. Semi-supervised vision-based maritime surveillance system using fused visual attention maps
Gupta et al. Early wildfire smoke detection in videos
Jakovčević et al. Visual spatial-context based wildfire smoke sensor
Chen et al. Classification of moving objects in atmospherically degraded video
Madshaven et al. Hole detection in aquaculture net cages from video footage
Fahn et al. Abnormal maritime activity detection in satellite image sequences using trajectory features
CN117218380A (zh) 无人船遥感图像的动态目标检测追踪方法
CN111160150A (zh) 基于深度残差神经网络卷积的视频监控人群行为的识别方法
Santhaseelan et al. Neural network based methodology for automatic detection of whale blows in infrared video
Bejinariu et al. Analysis of Abnormal Crowd Movements based on Features Tracking
Lu et al. Intelligent nighttime video surveillance using multi-intensity infrared illuminator
Lee et al. Fire detection using color and motion models
Alavianmehr et al. Video foreground detection based on adaptive mixture gaussian model for video surveillance systems
Ananthan Fish Species Detection and Tracking Based on Fusion Intensity Entity Transformation using Optical Flow Algorithm

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018513902

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 11201802247X

Country of ref document: SG

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923482

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16923482

Country of ref document: EP

Kind code of ref document: A1