JP6852436B2

JP6852436B2 - Image processing program, image processing method and image processing device

Info

Publication number: JP6852436B2
Application number: JP2017022583A
Authority: JP
Inventors: 庄一窪山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-02-09
Filing date: 2017-02-09
Publication date: 2021-03-31
Anticipated expiration: 2037-02-09
Also published as: JP2018128936A

Description

本発明は、画像処理プログラム、画像処理方法及び画像処理装置に関する。 The present invention relates to an image processing program, an image processing method, and an image processing apparatus.

従来、揮発物を検出する方法として、化学的に成分を検出するセンサを用いる方法が知られている。また、監視カメラの画像に基づいて火災や物体移動を検知する技術が知られている（例えば、特許文献１等参照）。 Conventionally, as a method for detecting volatile substances, a method using a sensor that chemically detects a component is known. Further, a technique for detecting a fire or movement of an object based on an image of a surveillance camera is known (see, for example, Patent Document 1 and the like).

特開平９−３０５８８２号公報Japanese Unexamined Patent Publication No. 9-305882

しかしながら、センサは検出範囲が狭いため、検出範囲よりも広い範囲において揮発物の存在位置を精度よく検出するためには高価なセンサを多数用意する必要があり、コスト的に現実的でない。また、上記特許文献１等の方法を用いても、画像から揮発物の存在位置を検出することはできない。 However, since the detection range of the sensor is narrow, it is necessary to prepare a large number of expensive sensors in order to accurately detect the existence position of the volatile matter in a range wider than the detection range, which is not realistic in terms of cost. Further, even if the method of Patent Document 1 or the like is used, the existence position of the volatile substance cannot be detected from the image.

１つの側面では、本発明は、画像を用いて精度よく揮発物の存在位置を検出することが可能な画像処理プログラム、画像処理方法及び画像処理装置を提供することを目的とする。 In one aspect, it is an object of the present invention to provide an image processing program, an image processing method, and an image processing apparatus capable of accurately detecting the presence position of a volatile substance using an image.

一つの態様では、画像処理プログラムは、時間的に前後するタイミングで撮影して得られた第１の画像と、第２の画像とを取得し、前記第１の画像と前記第２の画像の画像領域ごとの相互相関に関する特徴量を比較し、前記特徴量が第１の大きさ以上であり、かつ、前記第１の大きさよりも大きい第２の大きさ以下である画像領域を特定し、特定した前記画像領域を所定割合以上含む範囲を揮発物の存在位置として検出する、処理をコンピュータに実行させるプログラムである。 In one embodiment, the image processing program includes a first image obtained by photographing at a timing chronologically successive, it acquires the second image, the first image of the second image comparing a feature quantity relating to the cross-correlation for each image region, the feature amount is equal to or larger than the first size, and identifies the first image region is the second less magnitude larger than the size, It is a program that causes a computer to execute a process of detecting a range including the specified image region or more as a presence position of a volatile substance.

画像を用いて精度よく揮発物の存在位置を検出することができる。 The location of volatile matter can be detected accurately using images.

第１の実施形態に係る揮発物検出システムの構成を概略的に示す図である。It is a figure which shows roughly the structure of the volatile matter detection system which concerns on 1st Embodiment. 図２（ａ）は、サーバのハードウェア構成を示す図であり、図２（ｂ）は、サーバの機能ブロック図である。FIG. 2A is a diagram showing the hardware configuration of the server, and FIG. 2B is a functional block diagram of the server. 第１の実施形態におけるサーバの処理を示すフローチャートである。It is a flowchart which shows the processing of the server in 1st Embodiment. 図３のステップＳ１０を説明するための図である。It is a figure for demonstrating step S10 of FIG. 図５（ａ）〜図５（ｃ）は、検出単位格子と差分分析単位格子について説明するための図である。5 (a) to 5 (c) are diagrams for explaining the detection unit cell and the difference analysis unit cell. 図６（ａ）は、差分分析単位格子におけるピーク値を模式的に示す図であり、図６（ｂ）は、特定のズレ幅か否かを判断するための差分分析単位格子内の領域を示す図であり、図６（ｃ）は、図６（ｂ）の変形例を示す図である。FIG. 6 (a) is a diagram schematically showing a peak value in the difference analysis unit cell, and FIG. 6 (b) shows a region in the difference analysis unit cell for determining whether or not the deviation width is specific. 6 (c) is a diagram showing a modified example of FIG. 6 (b). 図３のステップＳ２４を説明するための図である。It is a figure for demonstrating step S24 of FIG. 図８（ａ）〜図８（ｄ）は、第１の実施形態のサーバの処理の概要を示す図である。8 (a) to 8 (d) are diagrams showing an outline of the processing of the server according to the first embodiment. 第２の実施形態におけるサーバの処理を示すフローチャートである。It is a flowchart which shows the processing of the server in 2nd Embodiment. 図１０（ａ）は、ピーク値のズレ方向を判断するための差分分析単位格子内の領域を示す図であり、図１０（ｂ）、図１０（ｃ）は、図１０（ａ）の変形例を示す図である。FIG. 10 (a) is a diagram showing a region in the difference analysis unit cell for determining the deviation direction of the peak value, and FIGS. 10 (b) and 10 (c) are modifications of FIG. 10 (a). It is a figure which shows an example. 図１１（ａ）、図１１（ｂ）は、図９のステップＳ１２０、Ｓ１２２を説明するための図である。11 (a) and 11 (b) are diagrams for explaining steps S120 and S122 of FIG.

≪第１の実施形態≫
以下、揮発物検出システムの第１の実施形態について、図１〜図８に基づいて詳細に説明する。 << First Embodiment >>
Hereinafter, the first embodiment of the volatile matter detection system will be described in detail with reference to FIGS. 1 to 8.

図１には、第１の実施形態に係る揮発物検出システム１００の構成が概略的に示されている。本第１の実施形態の揮発物検出システム１００は、例えば、揮発物を取り扱う環境（ガソリンスタンド、石油プラント、家庭用灯油給湯設備の設置箇所など）や、揮発物が外部から持ち込まれるべきでない環境（公共施設、バス、電車、新幹線、駅、空港など）において、揮発物を検出するためのシステムである。揮発物検出システム１００は、揮発物を取り扱う環境においては、揮発物の管理（漏れ検出など）のために用いられ、揮発物が持ち込まれるべきでない環境においては、外部から持ち込まれた揮発物の存在を検出するために用いられる。 FIG. 1 schematically shows the configuration of the volatile matter detection system 100 according to the first embodiment. The volatile matter detection system 100 of the first embodiment is, for example, an environment for handling volatile matter (gas station, oil plant, installation location of household kerosene hot water supply equipment, etc.) and an environment in which volatile matter should not be brought in from the outside. It is a system for detecting volatile substances in (public facilities, buses, trains, bullet trains, stations, airports, etc.). The volatile matter detection system 100 is used for volatile matter management (leakage detection, etc.) in an environment where volatile matter is handled, and in an environment where volatile matter should not be brought in, the presence of volatile matter brought in from the outside. Is used to detect.

揮発物検出システム１００は、図１に示すように、複数のカメラ７０と、画像処理装置としてのサーバ１０と、複数の報知装置７２と、を備える。カメラ７０、サーバ１０、及び報知装置７２は、インターネットなどのネットワーク８０に接続されている。 As shown in FIG. 1, the volatile matter detection system 100 includes a plurality of cameras 70, a server 10 as an image processing device, and a plurality of notification devices 72. The camera 70, the server 10, and the notification device 72 are connected to a network 80 such as the Internet.

カメラ７０は、揮発物を検出する必要のある場所に設置され、動画を撮影し、撮影した動画データをネットワーク８０を介してサーバ１０に送信する。なお、カメラ７０としては、防犯を目的として設置される防犯カメラ（監視カメラ）を流用してもよい。 The camera 70 is installed at a place where volatile substances need to be detected, shoots a moving image, and transmits the shot moving image data to the server 10 via the network 80. As the camera 70, a security camera (surveillance camera) installed for the purpose of crime prevention may be diverted.

サーバ１０は、カメラ７０が撮影した動画データを取得し、取得した動画データに基づいて揮発物の存在位置を検出する。また、サーバ１０は、揮発物の存在位置を検出した場合に、ネットワーク８０を介して報知装置７２に通知する。図２（ａ）には、サーバ１０のハードウェア構成が概略的に示されている。図２（ａ）に示すように、サーバ１０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、ネットワークインタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これらサーバ１０の構成各部は、バス９８に接続されている。サーバ１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（画像処理プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（画像処理プログラムを含む）をＣＰＵ９０が実行することにより、図２（ｂ）に示す各部の機能が実現される。なお、図２（ｂ）には、サーバ１０のＨＤＤ９６等に格納されている動画ＤＢ（database）３０も図示されている。 The server 10 acquires the moving image data taken by the camera 70, and detects the existence position of the volatile matter based on the acquired moving image data. Further, when the server 10 detects the presence position of the volatile matter, the server 10 notifies the notification device 72 via the network 80. FIG. 2A schematically shows the hardware configuration of the server 10. As shown in FIG. 2A, the server 10 includes a CPU (Central Processing Unit) 90, a ROM (Read Only Memory) 92, a RAM (Random Access Memory) 94, and a storage unit (here, an HDD (Hard Disk Drive)). It includes 96, a network interface 97, a drive 99 for a portable storage medium, and the like. Each component of the server 10 is connected to the bus 98. In the server 10, the CPU 90 executes a program (including an image processing program) stored in the ROM 92 or the HDD 96, or a program (including an image processing program) read from the portable storage medium 91 by the portable storage medium drive 99. By doing so, the functions of each part shown in FIG. 2B are realized. Note that FIG. 2B also shows a moving image DB (database) 30 stored in the HDD 96 or the like of the server 10.

図２（ｂ）に示すように、サーバ１０においては、ＣＰＵ９０がプログラムを実行することにより、動画取得部２０、取得部としてのフレーム取得部２１、領域分割部２２、特定部としての評価部２３、検出部２４、通知部２５として機能する。 As shown in FIG. 2B, in the server 10, when the CPU 90 executes the program, the moving image acquisition unit 20, the frame acquisition unit 21 as the acquisition unit, the area division unit 22, and the evaluation unit 23 as the specific unit , It functions as a detection unit 24 and a notification unit 25.

動画取得部２０は、カメラ７０で撮影された動画データを取得し、動画ＤＢ３０に格納する。動画ＤＢ３０には、各カメラ７０で撮影された動画データが格納される。 The moving image acquisition unit 20 acquires the moving image data taken by the camera 70 and stores the moving image data in the moving image DB 30. The moving image DB 30 stores the moving image data taken by each camera 70.

フレーム取得部２１は、動画ＤＢ３０に格納された動画データから所定の２枚のフレームを取得し、領域分割部２２に送信する。 The frame acquisition unit 21 acquires two predetermined frames from the moving image data stored in the moving image DB 30, and transmits them to the area dividing unit 22.

領域分割部２２は、フレーム取得部２１が取得した２枚のフレームを検出単位格子に分割し、さらに差分分析単位格子に分割する。ここで、差分分析単位格子は、各フレームの特徴量を比較するための単位格子（微小矩形領域）であり、２枚のフレームの対応する差分分析単位格子の画素値を用いて相互相関関数処理が行われる。検出単位格子は、差分分析単位格子を所定数まとめた矩形領域である。本実施形態では、検出単位格子ごとに揮発物が存在しているか否かの判断が行われる。なお、各格子のサイズは、画像の解像度や動画のフレームレート等により決定されるものであり、固定値ではないものとする。例えば、フレームの解像度が４０００×３０００ピクセルである場合には、検出単位格子を１００×１００ピクセル程度とし、差分分析単位格子を１０×１０ピクセル程度とすることができる。 The area division unit 22 divides the two frames acquired by the frame acquisition unit 21 into a detection unit cell, and further divides the two frames into a difference analysis unit cell. Here, the difference analysis unit cell is a unit cell (small rectangular area) for comparing the features of each frame, and cross-correlation function processing is performed using the pixel values of the corresponding difference analysis unit cells of the two frames. Is done. The detection unit cell is a rectangular area in which a predetermined number of difference analysis unit cells are grouped together. In the present embodiment, it is determined whether or not volatile substances are present for each detection unit cell. The size of each grid is determined by the resolution of the image, the frame rate of the moving image, and the like, and is not a fixed value. For example, when the resolution of the frame is 4000 × 3000 pixels, the detection unit cell can be set to about 100 × 100 pixels and the difference analysis unit cell can be set to about 10 × 10 pixels.

評価部２３は、領域分割部２２により分割された２枚のフレームを用いて、差分分析単位格子ごとに、相互相関関数のピーク値の位置のズレ幅を評価する。この場合、評価部２３は、特定のズレ幅の差分分析単位格子を抽出する。 The evaluation unit 23 evaluates the deviation width of the position of the peak value of the cross-correlation function for each difference analysis unit cell using the two frames divided by the region division unit 22. In this case, the evaluation unit 23 extracts a difference analysis unit cell having a specific deviation width.

検出部２４は、評価部２３の評価結果に基づいて、揮発物の存在位置に対応する検出単位格子を特定し、特定した検出単位格子を検出領域とする。 The detection unit 24 specifies a detection unit cell corresponding to the presence position of the volatile substance based on the evaluation result of the evaluation unit 23, and sets the specified detection unit cell as a detection region.

通知部２５は、検出領域の集中度合いに基づいて警報の強さ（通知なし、注意、警告、警報など）を決定し、報知装置７２に対してネットワーク８０を介して通知を行う。 The notification unit 25 determines the strength of the alarm (no notification, caution, warning, alarm, etc.) based on the degree of concentration of the detection area, and notifies the notification device 72 via the network 80.

図１に戻り、報知装置７２は、表示部やスピーカ等を有し、サーバ１０（通知部２５）からの通知を受信し、報知を行う。報知装置７２は、例えば、揮発物を検出する必要のある場所に設置され、近傍に存在する人に対して揮発物が漏れていることや揮発物が外部から持ち込まれたことなどを報知する。また、報知装置７２は、揮発物検出システム１００の管理者が保持可能な端末であったり、管理者が存在する場所に設置される端末であってもよく、この場合には、管理者に対して揮発物が漏れていることや揮発物が外部から持ち込まれたことなどを報知する。 Returning to FIG. 1, the notification device 72 has a display unit, a speaker, and the like, receives a notification from the server 10 (notification unit 25), and performs notification. The notification device 72 is installed at a place where volatile matter needs to be detected, and notifies a person existing in the vicinity that the volatile matter is leaking or that the volatile matter is brought in from the outside. Further, the notification device 72 may be a terminal that can be held by the administrator of the volatile matter detection system 100, or a terminal that is installed in a place where the administrator exists. In this case, the administrator may be notified. Notifies that volatile matter is leaking or that volatile matter is brought in from the outside.

（サーバの処理）
次に、サーバ１０の処理の詳細について、図３のフローチャートに沿って、その他図面を適宜参照しつつ説明する。なお、図３の処理は、所定時間ごと（揮発物の検出タイミングごと）に繰り返し実行される処理である。 (Server processing)
Next, the details of the processing of the server 10 will be described with reference to other drawings as appropriate according to the flowchart of FIG. The process of FIG. 3 is a process that is repeatedly executed at predetermined time intervals (at each volatile matter detection timing).

図３の処理では、まず、ステップＳ１０において、フレーム取得部２１が、複数のカメラ７０のうちの１つにより撮影された動画データからフレームを２枚取得する。すなわち、フレーム取得部２１は、カメラ７０において時間的に前後するタイミングで撮影された２枚のフレーム（第１の画像と第２の画像）を動画ＤＢ３０から取得する。この場合、フレーム取得部２１は、図４において模式的に示すように、動画ＤＢ３０に格納されている所定のカメラ７０で撮影された動画データから、予め定められた時間間隔で撮影された２枚のフレームを抽出し、取得する。 In the process of FIG. 3, first, in step S10, the frame acquisition unit 21 acquires two frames from the moving image data captured by one of the plurality of cameras 70. That is, the frame acquisition unit 21 acquires two frames (first image and second image) taken by the camera 70 at timings before and after the time from the moving image DB 30. In this case, as schematically shown in FIG. 4, the frame acquisition unit 21 captures two images taken at predetermined time intervals from the moving image data taken by the predetermined camera 70 stored in the moving image DB 30. Extract and get the frame of.

次いで、ステップＳ１２では、領域分割部２２が、各フレーム画像を検出単位格子で領域分割する。また、ステップＳ１４では、領域分割部２２が、各フレーム画像の検出単位格子を差分分析単位格子で領域分割する。図５（ａ）〜図５（ｃ）には、検出単位格子、差分分析単位格子、及び画素の大きさの関係が模式的に示されている。図５（ａ）〜図５（ｃ）に示すように、画素の集合が差分分析単位格子であり、差分分析単位格子の集合が検出単位格子であり、検出単位格子の集合がフレーム画像となる。 Next, in step S12, the region division unit 22 divides each frame image into regions by the detection unit cell. Further, in step S14, the region dividing unit 22 divides the detection unit cell of each frame image into a region by the difference analysis unit cell. 5 (a) to 5 (c) schematically show the relationship between the detection unit cell, the difference analysis unit cell, and the pixel size. As shown in FIGS. 5 (a) to 5 (c), the set of pixels is the difference analysis unit cell, the set of the difference analysis unit cells is the detection unit cell, and the set of the detection unit cells is the frame image. ..

次いで、ステップＳ１６では、評価部２３が、２枚のフレームの同一位置の差分分析単位格子毎に、相互相関関数処理を実施する。ここで、相互相関関数処理とは、２枚のフレームの同一の位置に存在する差分分析単位格子内において、２枚のフレームをずらしたときに同一位置となる画素（重なる画素）を特定し、差分分析単位格子内で重なる画素の画素値の積の和を算出する処理を、２枚のフレームをずらしながら繰り返し行う処理である。本処理により得られる積和演算値Ｆ（Ｘ，Ｙ）は、次式（１）にて表すことができる。 Next, in step S16, the evaluation unit 23 performs cross-correlation function processing for each difference analysis unit cell at the same position of the two frames. Here, the cross-correlation function processing identifies pixels (overlapping pixels) that are in the same position when the two frames are shifted in the difference analysis unit cell existing at the same position of the two frames. Difference analysis This is a process of repeating the process of calculating the sum of the products of the pixel values of overlapping pixels in the unit cell while shifting the two frames. The product-sum operation value F (X, Y) obtained by this processing can be expressed by the following equation (1).

上式（１）において、Ｆａ（ｘ、ｙ）は、一方のフレームの（ｘ，ｙ）座標の画素値であり、Ｆｂ（ｘ，ｙ）は、他方のフレームの（ｘ，ｙ）座標の画素値である。また、Ｘ，Ｙは、相互相関時の縦横ズレ量（０≦Ｘ≦Ｓｘ、０≦Ｙ≦Ｓｙ）であり、ｘ，ｙは、差分分析単位格子内の縦横座標値である。更に、Ｓｘは、差分分析単位格子の横画素数であり、Ｓｙは、差分分析単位格子の縦画素数である。 In the above equation (1), Fa (x, y) is the pixel value of the (x, y) coordinate of one frame, and Fb (x, y) is the (x, y) coordinate of the other frame. It is a pixel value. Further, X and Y are the amount of vertical and horizontal deviations (0 ≦ X ≦ Sx, 0 ≦ Y ≦ Sy) at the time of cross-correlation, and x and y are the vertical and horizontal coordinate values in the difference analysis unit cell. Further, Sx is the number of horizontal pixels of the difference analysis unit cell, and Sy is the number of vertical pixels of the difference analysis unit cell.

次いで、ステップＳ１８では、評価部２３が、差分分析単位格子毎に、相互相関関数のピーク値の位置のズレ幅を評価する。この場合、差分分析単位格子内におけるＦ（Ｘ，Ｙ）が最も大きい位置をピーク値の位置とし、差分分析単位格子の中心とピーク値の位置との距離をズレ幅とする。図６（ａ）には、相互相関関数処理の結果として表れるピーク値の位置が模式的に示されている。このピーク値のズレ幅が大きい差分分析単位格子は、動いている人や物体などを撮影した差分分析単位格子である可能性が高く、ピーク値のズレ幅が小さい差分分析単位格子は、空気揺らぎを撮影した差分分析単位格子である可能性が高いことを意味する。また、ピーク値のズレ幅が０又はおよそ０の差分分析単位格子は、動いていない被写体を撮影した差分分析単位格子である可能性が高いことを意味する。なお、本実施形態において、評価部２３が、差分分析単位格子毎に相互相関関数のピーク値の位置のズレ幅を評価する処理は、２枚のフレームそれぞれから抽出した特徴量を比較する処理であるといえる。 Next, in step S18, the evaluation unit 23 evaluates the deviation width of the position of the peak value of the cross-correlation function for each difference analysis unit cell. In this case, the position where F (X, Y) is the largest in the difference analysis unit cell is defined as the peak value position, and the distance between the center of the difference analysis unit cell and the peak value position is defined as the deviation width. FIG. 6A schematically shows the position of the peak value that appears as a result of the cross-correlation function processing. There is a high possibility that the difference analysis unit cell with a large deviation width of the peak value is a difference analysis unit cell that photographs moving people or objects, and the difference analysis unit cell with a small deviation width of the peak value is air fluctuation. It means that there is a high possibility that it is a difference analysis unit cell in which the image is taken. Further, the difference analysis unit cell in which the deviation width of the peak value is 0 or about 0 means that there is a high possibility that the difference analysis unit cell is a photograph of a stationary subject. In the present embodiment, the process in which the evaluation unit 23 evaluates the deviation width of the position of the peak value of the cross-correlation function for each difference analysis unit cell is a process of comparing the feature quantities extracted from each of the two frames. It can be said that there is.

次いで、ステップＳ２０では、評価部２３が、特定のズレ幅の差分分析単位格子を抽出する。本実施形態では、例えば、図６（ｂ）に示すように、差分分析単位格子内が区分けされており、ピーク値が領域Ａ２（実線で囲まれた領域のうち破線で囲まれた領域Ａ１を除く領域）に含まれる差分分析単位格子を、特定のズレ幅の差分分析単位格子として扱うこととしている。なお、ピーク値が領域Ａ２に含まれる場合には、空気揺らぎがあるため揮発物が存在している可能性が高いことを意味する。また、ピーク値が領域Ａ１（破線で囲まれた領域内）に含まれる場合には、ピーク値のズレ量が所定の閾値より小さく、被写体（人や物体）に動きがなく、揮発物も存在しない可能性が高いことを意味する。また、ピーク値が領域Ａ３（Ａ１，Ａ２以外の領域）に含まれる場合には、被写体（人や物体）が動いている可能性が高いことを意味する。 Next, in step S20, the evaluation unit 23 extracts a difference analysis unit cell having a specific deviation width. In the present embodiment, for example, as shown in FIG. 6B, the difference analysis unit cell is divided, and the peak value is the region A2 (the region A1 surrounded by the broken line among the regions surrounded by the solid line). The difference analysis unit cell included in the excluded area) is treated as the difference analysis unit cell with a specific deviation width. When the peak value is included in the region A2, it means that there is a high possibility that volatile substances are present due to air fluctuations. Further, when the peak value is included in the region A1 (inside the region surrounded by the broken line), the deviation amount of the peak value is smaller than the predetermined threshold value, the subject (person or object) does not move, and volatile substances also exist. It means that there is a high possibility that it will not be done. Further, when the peak value is included in the region A3 (regions other than A1 and A2), it means that there is a high possibility that the subject (person or object) is moving.

なお、図６（ｂ）の例では、領域Ａ１〜Ａ３が矩形の線で区画されている場合について説明したが、これに限らず、図６（ｃ）に示すように、領域が円形の線で区画されていてもよい。図６（ｂ）の場合には、領域を縦横の範囲で簡易に区画できるため、画像処理を行う上で処理を簡素化できるという利点があり、図６（ｃ）の場合には、処理が複雑になるものの、領域を中心からの距離で規定できるため、画像工学的に適切な処理を行うことができるという利点がある。 In the example of FIG. 6B, the case where the regions A1 to A3 are divided by rectangular lines has been described, but the present invention is not limited to this, and as shown in FIG. 6C, the regions are circular lines. It may be partitioned by. In the case of FIG. 6B, since the area can be easily divided in the vertical and horizontal ranges, there is an advantage that the processing can be simplified in performing the image processing, and in the case of FIG. 6C, the processing can be performed. Although it is complicated, since the area can be defined by the distance from the center, there is an advantage that appropriate processing can be performed in terms of image engineering.

なお、ステップＳ２０においては、検出部２４は、ピーク値が差分分析単位格子の中心に無く、領域Ａ１と領域Ａ２を含む領域にピーク値が含まれる差分分析単位格子（ズレ幅が所定の大きさ以下の差分分析単位格子）を、特定のズレ幅の差分分析単位格子として抽出することとしてもよい。 In step S20, the detection unit 24 has a difference analysis unit cell (the deviation width is a predetermined size) in which the peak value is not in the center of the difference analysis unit cell and the peak value is included in the area including the area A1 and the area A2. The following difference analysis unit cell) may be extracted as a difference analysis unit cell having a specific deviation width.

なお、本実施形態において、特定のズレ幅の差分分析単位格子を抽出する処理は、２枚のフレームから抽出した特徴量の間に変化が検出され、かつ、変化の大きさが所定の大きさ以下である画像領域を特定する処理である。 In the present embodiment, in the process of extracting the difference analysis unit cell of a specific deviation width, a change is detected between the feature quantities extracted from the two frames, and the magnitude of the change is a predetermined magnitude. This is a process for specifying an image area, which is as follows.

図３に戻り、次のステップＳ２２では、検出部２４が、検出単位格子内において抽出された差分分析単位格子の数を評価し、抽出された差分分析単位格子が規定以上の割合だけ含まれている検出単位格子を検出領域（揮発物の存在位置）とみなす。例えば、検出部２４は、検出単位格子内に含まれる差分分析単位格子のうちの所定割合（例えば６０％）以上の差分分析単位格子が、ステップＳ２０において抽出された場合には、その検出単位格子を検出領域とみなす。なお、所定割合については、検出単位格子のサイズや、差分分析単位格子のサイズ、動画のフレームレートや動画の解像度、予め定めた検出判断の精度などに基づいて定められるものとする。 Returning to FIG. 3, in the next step S22, the detection unit 24 evaluates the number of the difference analysis unit cells extracted in the detection unit cell, and the extracted difference analysis unit cell is included in a proportion equal to or more than the specified value. The existing detection unit cell is regarded as the detection area (location of volatile matter). For example, when the difference analysis unit cell of a predetermined ratio (for example, 60%) or more of the difference analysis unit cell included in the detection unit cell is extracted in step S20, the detection unit 24 detects the detection unit cell. Is regarded as the detection area. The predetermined ratio shall be determined based on the size of the detection unit cell, the size of the difference analysis unit cell, the frame rate of the moving image, the resolution of the moving image, the accuracy of the detection judgment determined in advance, and the like.

次いで、ステップＳ２４では、通知部２５が、検出領域が集中している度合いで警報の強さを決定し、報知装置７２に通知する。図７（ａ）〜図７（ｄ）には、検出領域の集中度合いに応じた通知の例が示されている。なお、図７（ａ）〜図７（ｄ）において、黒塗りで示す検出単位格子は、検出領域を意味する。例えば、通知部２５は、図７（ａ）に示すように複数の検出領域が集中していない場合には、「通知なし」と決定し、図７（ｂ）に示すように検出領域が２つ集中している場合には、「注意」と決定する。また、通知部２５は、図７（ｃ）に示すように検出領域が３つ以上５つ未満だけ集中している場合には、「警告」と決定し、図７（ｄ）に示すように検出領域が５つ以上集中している場合には、「警報」と決定する。そして、通知部２５は、「通知なし」と決定した場合には、報知装置７２への通知を行わず、「注意」、「警告」、「警報」と決定した場合には、報知装置７２に対して決定内容に応じた通知を行う。このように、本実施形態では、空気揺らぎが検出された検出単位格子の密集度を検出し、密集している量が多いほど高い警告を発信するようにしている。なお、図７（ａ）〜図７（ｄ）は一例である。したがって、警報の強さを決定する基準は、例えば、カメラ７０の設置位置、被写体からの距離等に基づいて変更してもよい。 Next, in step S24, the notification unit 25 determines the strength of the alarm to the extent that the detection areas are concentrated, and notifies the notification device 72. 7 (a) to 7 (d) show an example of notification according to the degree of concentration of the detection area. In FIGS. 7 (a) to 7 (d), the detection unit cell shown in black means a detection region. For example, when the plurality of detection areas are not concentrated as shown in FIG. 7A, the notification unit 25 determines that there is no notification, and the detection area is 2 as shown in FIG. 7B. If you are concentrating on one, decide "Caution". Further, the notification unit 25 determines "warning" when the detection areas are concentrated by 3 or more and less than 5 as shown in FIG. 7 (c), and as shown in FIG. 7 (d). When five or more detection areas are concentrated, it is determined as "alarm". Then, when the notification unit 25 determines "no notification", it does not notify the notification device 72, and when it determines "caution", "warning", or "alarm", the notification device 72 is notified. Notification will be given according to the content of the decision. As described above, in the present embodiment, the density of the detection unit cell in which the air fluctuation is detected is detected, and the higher the density is, the higher the warning is transmitted. Note that FIGS. 7 (a) to 7 (d) are examples. Therefore, the criteria for determining the strength of the alarm may be changed based on, for example, the installation position of the camera 70, the distance from the subject, and the like.

図８（ａ）〜図８（ｄ）は、図３の処理内容を模式的に示す図である。例えば、図３のステップＳ１０において、図８（ａ）及び図８（ｂ）に示すような２枚のフレームが取得されたとする。２枚のフレームにおいては、人の動きが撮影されているとともに、揮発物による空気揺らぎも撮影されている。この場合、揮発物が存在し、空気揺らぎが発生している範囲のうち、人の動きと重なっていない範囲（図８（ｃ）において黒塗りで示す範囲）に対応する検出単位格子（図８（ｄ）において黒塗りで示す範囲）が図３のステップＳ２２において検出領域としてみなされることになる。この場合の検出領域の密集度であれば、図７（ａ）〜図７（ｄ）のうち図７（ｄ）の「警報」に相当するため、通知部２５から報知装置７２に対して「警報」が通知されることになる。この場合、報知装置７２から「警報」が発せられることで、管理者等は揮発物の存在に関する警報を認識することが可能となる。 8 (a) to 8 (d) are diagrams schematically showing the processing contents of FIG. For example, in step S10 of FIG. 3, it is assumed that two frames as shown in FIGS. 8 (a) and 8 (b) are acquired. In the two frames, the movement of a person is photographed, and the air fluctuation caused by volatile substances is also photographed. In this case, the detection unit cell (FIG. 8) corresponding to the range in which the volatile matter is present and the air fluctuation is generated and does not overlap with the movement of the person (the range shown in black in FIG. 8C). The range shown in black in (d)) is regarded as the detection region in step S22 of FIG. In this case, the density of the detection area corresponds to the "alarm" in FIG. 7 (d) of FIGS. 7 (a) to 7 (d). "Alarm" will be notified. In this case, by issuing an "alarm" from the notification device 72, the administrator or the like can recognize the alarm regarding the presence of volatile substances.

以上、詳細に説明したように、本第１の実施形態によると、フレーム取得部２１は、時間的に前後するタイミングで撮影して得られた２枚のフレームを取得し（Ｓ１０）、評価部２３は、相互相関関数処理により、２枚のフレームの差分分析単位格子ごとの相互相関関数のピーク値の位置のズレ幅を評価することで、各フレームから抽出した特徴量を比較（Ｓ１６，Ｓ１８）し、ズレ幅が領域Ａ２（図６（ｂ））に含まれる差分分析単位格子を抽出する（Ｓ２０）。そして、検出部２４は、評価部２３が抽出した差分分析単位格子の割合が規定以上である検出単位格子を検出領域（揮発物の存在位置）とみなす（Ｓ２２）。これにより、本実施形態では、相互相関関数のピーク値の位置のズレ幅が領域Ａ２に含まれるような、空気揺らぎが生じている範囲を揮発物の存在位置とみなすため、画像（動画から抽出したフレーム）を用いて、揮発物の存在位置を精度よく検出することが可能である。また、本実施形態では、カメラの撮影範囲を揮発物の検出範囲とすることができるため、揮発物の成分を検出するセンサよりも広範囲において揮発物を検出することができる。このため、高価なセンサを多数設置する場合に比べ、システムを低コスト化することができる。また、本実施形態では、カメラ７０として防犯カメラを流用することができるため、設備の共有化による低コスト化を図ることもできる。また、本実施形態では、相互相関関数のピーク値の位置のズレ幅が領域Ａ２を超える場合には、揮発物の存在位置として扱わないため、動きのある人や物体などが揮発物の近傍に存在していても、揮発物を精度よく検出することができる。 As described in detail above, according to the first embodiment, the frame acquisition unit 21 acquires two frames obtained by photographing at timings before and after the time (S10), and is an evaluation unit. 23 is a difference analysis of two frames by cross-correlation function processing. By evaluating the deviation width of the position of the peak value of the cross-correlation function for each unit cell, the feature quantities extracted from each frame are compared (S16, S18). ), And the difference analysis unit cell whose deviation width is included in the region A2 (FIG. 6 (b)) is extracted (S20). Then, the detection unit 24 considers the detection unit cell in which the ratio of the difference analysis unit cell extracted by the evaluation unit 23 is equal to or higher than the specified value as the detection region (presence position of volatile matter) (S22). As a result, in the present embodiment, the range in which air fluctuation occurs such that the deviation width of the position of the peak value of the cross-correlation function is included in the region A2 is regarded as the existence position of the volatile matter, so that the image (extracted from the moving image) It is possible to accurately detect the presence position of volatile substances by using the frame). Further, in the present embodiment, since the photographing range of the camera can be set as the detection range of the volatile matter, the volatile matter can be detected in a wider range than the sensor for detecting the component of the volatile matter. Therefore, the cost of the system can be reduced as compared with the case where a large number of expensive sensors are installed. Further, in the present embodiment, since the security camera can be diverted as the camera 70, it is possible to reduce the cost by sharing the equipment. Further, in the present embodiment, when the deviation width of the peak value of the cross-correlation function exceeds the region A2, it is not treated as the existence position of the volatile matter, so that a moving person or an object is in the vicinity of the volatile matter. Even if it is present, volatile substances can be detected accurately.

なお、上記実施形態のステップＳ２２では、ステップＳ２０で抽出された差分分析単位格子のすべてを検出領域（揮発物の存在位置）とみなすようにしてもよい。 In step S22 of the above embodiment, all of the difference analysis unit cell extracted in step S20 may be regarded as a detection region (location of volatile matter).

なお、揮発物や水蒸気（湯気）は、その分子の重さにより光の屈折率が異なることが知られている。この屈折率の違いは、空気揺らぎの幅の大きさに表れる。したがって、動画を撮影するカメラを高解像度とし、揺らぎの幅（相互相関関数のピーク値のズレ幅）を高精度に算出することで、水蒸気などと揮発物（灯油、ガソリンなどの石油系物質）との違いを判別することが可能である。この場合、サーバ１０では、図６（ｂ）や図６（ｃ）の領域を物質ごとに分けることで、各物質を高精度に検出することが可能である。 It is known that the refractive index of light of volatile matter and steam (steam) differs depending on the weight of the molecule. This difference in refractive index appears in the magnitude of the width of the air fluctuation. Therefore, by setting the camera that shoots moving images to high resolution and calculating the fluctuation width (the deviation width of the peak value of the cross-correlation function) with high accuracy, water vapor and volatile substances (petroleum-based substances such as kerosene and gasoline) It is possible to determine the difference from. In this case, the server 10 can detect each substance with high accuracy by dividing the regions of FIGS. 6 (b) and 6 (c) into each substance.

≪第２の実施形態≫
以下、第２の実施形態について、図９〜図１１に基づいて詳細に説明する。なお、本第２の実施形態の揮発物検出システム１００の構成は、第１の実施形態と同様であるが、サーバ１０の処理の一部が異なっている。以下、サーバ１０の処理について詳細に説明する。 << Second Embodiment >>
Hereinafter, the second embodiment will be described in detail with reference to FIGS. 9 to 11. The configuration of the volatile matter detection system 100 of the second embodiment is the same as that of the first embodiment, but a part of the processing of the server 10 is different. Hereinafter, the processing of the server 10 will be described in detail.

図９には、第２の実施形態のサーバ１０の処理の流れがフローチャートにて示されている。なお、図９においては、図３の処理と異なる処理を太枠にて示している。 FIG. 9 shows a flowchart of the processing flow of the server 10 of the second embodiment. In FIG. 9, a process different from the process of FIG. 3 is shown in a thick frame.

図９に示すように、第２の実施形態では、ステップＳ１０〜Ｓ１６を第１の実施形態と同様に実行する。具体的には、ステップＳ１０において、フレーム取得部２１が、動画ＤＢ３０に格納されている動画データからフレームを２枚取得し、領域分割部２２が、ステップＳ１２、Ｓ１４において、各フレームを検出単位格子及び差分分析単位格子に分割する。そして、評価部２３が、ステップＳ１６において、２枚のフレームの同一位置の差分分析単位格子毎に相互相関関数処理を実施する。 As shown in FIG. 9, in the second embodiment, steps S10 to S16 are executed in the same manner as in the first embodiment. Specifically, in step S10, the frame acquisition unit 21 acquires two frames from the moving image data stored in the moving image DB 30, and the area dividing unit 22 detects each frame in steps S12 and S14. And the difference analysis unit cell is divided. Then, in step S16, the evaluation unit 23 performs cross-correlation function processing for each difference analysis unit cell at the same position of the two frames.

ステップＳ１６の後は、ステップＳ１１８に移行し、評価部２３は、差分分析単位格子毎に、相互相関関数のピーク値の位置を算出する（図６（ａ）参照）。 After step S16, the process proceeds to step S118, and the evaluation unit 23 calculates the position of the peak value of the cross-correlation function for each difference analysis unit cell (see FIG. 6A).

次いで、ステップＳ１２０では、評価部２３が、ピーク値のズレ方向別に差分分析単位格子を分類する。本第２の実施形態では、図１０（ａ）に示すように、差分分析単位格子が予め４つの領域に分割されているものとする。そして、評価部２３は、ピーク値が図１０（ａ）のどの領域に存在しているかに基づいて、差分分析単位格子それぞれを「↑」、「→」、「↓」、「←」に分類する。ここで、図１１（ａ）には、４つの検出単位格子に含まれる差分分析単位格子が模式的に示されている。図１１（ａ）に示すように、ステップＳ１２０が実行されることで、各差分分析単位格子が「↑」、「→」、「↓」、「←」に分類される。なお、空白の差分分析単位格子は、ピーク値のズレ幅が０又はほぼ０である差分分析単位格子を意味している。 Next, in step S120, the evaluation unit 23 classifies the difference analysis unit cell according to the deviation direction of the peak value. In the second embodiment, as shown in FIG. 10A, it is assumed that the difference analysis unit cell is divided into four regions in advance. Then, the evaluation unit 23 classifies the difference analysis unit cell into "↑", "→", "↓", and "←" based on which region of FIG. 10A the peak value exists. To do. Here, FIG. 11A schematically shows the difference analysis unit cell included in the four detection unit cells. As shown in FIG. 11A, by executing step S120, each difference analysis unit cell is classified into “↑”, “→”, “↓”, and “←”. The blank difference analysis unit cell means a difference analysis unit cell in which the deviation width of the peak value is 0 or almost 0.

なお、差分分析単位格子は、図１０（ｂ）、図１０（ｃ）に示すように領域分割されてもよい。図１０（ｂ）、図１０（ｃ）の場合、ピーク値の位置のズレ方向を８方向に分類することができる。なお、図１０（ｃ）の中央の領域にピーク値が存在する場合（ピーク値の位置のズレ量が所定の閾値以下である場合）には、「ズレ無し」に分類されることになる。 The difference analysis unit cell may be divided into regions as shown in FIGS. 10 (b) and 10 (c). In the case of FIGS. 10 (b) and 10 (c), the deviation directions of the peak value positions can be classified into eight directions. When the peak value exists in the central region of FIG. 10C (when the deviation amount of the peak value position is equal to or less than a predetermined threshold value), it is classified as “no deviation”.

図９に戻り、次のステップＳ１２２では、評価部２３が、隣接する差分分析単位格子の方向と異なる差分分析単位格子を抽出する。具体的には、評価部２３は、図１１（ａ）のようにピーク値のズレ方向別に分類された差分分析単位格子から、上下左右方向に隣接する４つの差分分析単位格子すべてと分類（ズレ方向）が異なるものを抽出する。なお、本処理においては、ズレ無しの差分分析単位格子を除外して処理を行うこととしている。図１１（ｂ）においては、上下左右方向に関して隣接する４つの差分分析単位格子のいずれかと分類が同一であった差分分析単位格子に「×」を表示している。なお、図１１（ｂ）の例では、ステップＳ１２２で抽出された差分分析単位格子に、「↑」、「→」、「↓」、「←」のいずれかが表示された状態となっている。 Returning to FIG. 9, in the next step S122, the evaluation unit 23 extracts a difference analysis unit cell different from the direction of the adjacent difference analysis unit cell. Specifically, the evaluation unit 23 classifies (deviation) from the difference analysis unit cell classified according to the deviation direction of the peak value as shown in FIG. 11A to all four difference analysis unit lattices adjacent in the vertical and horizontal directions. Extract those with different directions). In this process, the process is performed by excluding the difference analysis unit cell without deviation. In FIG. 11B, “x” is displayed in the difference analysis unit cell whose classification is the same as that of any of the four adjacent difference analysis unit cells in the vertical and horizontal directions. In the example of FIG. 11B, any one of "↑", "→", "↓", and "←" is displayed on the difference analysis unit cell extracted in step S122. ..

なお、ステップＳ１２２では、周囲８方向に関して隣接する８つの差分分析単位格子のすべてと分類が異なる差分分析単位格子を抽出するようにしてもよい。なお、検出部２４は、隣接する差分分析単位格子のすべてと分類が異なる差分分析単位格子を抽出する場合に限らず、例えば、隣接する所定数（又は所定割合）以上の差分分析単位格子と分類が異なっている差分分析単位格子を抽出するようにしてもよい。 In step S122, a difference analysis unit cell whose classification is different from that of all eight adjacent difference analysis unit cells in the eight surrounding directions may be extracted. The detection unit 24 is not limited to extracting a difference analysis unit cell whose classification is different from that of all adjacent difference analysis unit cells, and classifies the difference analysis unit cell as, for example, an adjacent predetermined number (or a predetermined ratio) or more. The difference analysis unit cell with different values may be extracted.

次いで、ステップＳ２２では、検出部２４は、第１の実施形態と同様、検出単位格子内において抽出された差分分析単位格子の数を評価し、抽出された差分分析単位格子が規定以上の割合だけ含まれる検出単位格子を検出領域とみなす。すなわち、本実施形態では、ピーク値のズレ方向が不均一な差分分析単位格子を規定以上の割合だけ含む検出単位格子を空気揺らぎのある範囲（揮発物の存在範囲）とみなす。次いで、ステップＳ２４では、通知部２５が、第１の実施形態と同様、複数の検出領域が集中している度合いで警報の強さを決定し、報知装置７２に通知する。 Next, in step S22, the detection unit 24 evaluates the number of the difference analysis unit cells extracted in the detection unit cell as in the first embodiment, and the extracted difference analysis unit cell is only the ratio equal to or more than the specified value. The included detection unit cell is regarded as the detection area. That is, in the present embodiment, the detection unit cell including the difference analysis unit cell in which the deviation direction of the peak value is non-uniform is regarded as a range with air fluctuation (existence range of volatile matter). Next, in step S24, the notification unit 25 determines the strength of the alarm to the extent that the plurality of detection regions are concentrated, and notifies the notification device 72, as in the first embodiment.

なお、本第２の実施形態においても、前述した第１の実施形態と同様、図８（ａ）〜図８（ｄ）で示すような処理が行われ、揮発物の存在位置の検出及び報知を行うことが可能となっている。 In the second embodiment as well, as in the first embodiment described above, the processes shown in FIGS. 8 (a) to 8 (d) are performed to detect and notify the presence position of the volatile matter. It is possible to do.

以上、詳細に説明したように、本第２の実施形態によると、フレーム取得部２１は、時間的に前後するタイミングで撮影して得られた２枚のフレームを取得し（Ｓ１０）、評価部２３は、相互相関関数処理により、２枚のフレームの差分分析単位格子ごとの相互相関関数のピーク値の位置のズレ方向を評価することで、各フレームから抽出した特徴量を比較し（Ｓ１１８）、ピーク値の位置のズレ方向が不均一な検出単位格子を抽出する（Ｓ１２２）。そして、検出部２４は、抽出した検出単位格子が規定以上の割合だけ含まれる検出単位格子を検出領域（揮発物の存在位置）とみなす（Ｓ２２）。これにより、本第２の実施形態では、ピーク値のズレ方向が不均一で、空気揺らぎが発生している範囲を揮発物の存在位置とみなすので、画像（動画から抽出したフレーム）を用いて、揮発物の存在位置を精度よく検出することが可能である。このように、本実施形態では、カメラの撮影範囲を揮発物の検出範囲とすることができるため、揮発物の成分を検出するセンサよりも広範囲において揮発物を検出することができる。このため、高価なセンサを多数設置する場合に比べ、システムを低コスト化することができる。また、本実施形態では、カメラ７０として防犯カメラを流用することができるため、設備の共有化による低コスト化を図ることもできる。 As described in detail above, according to the second embodiment, the frame acquisition unit 21 acquires two frames obtained by photographing at timings before and after the time (S10), and is an evaluation unit. 23 compares the feature quantities extracted from each frame by evaluating the deviation direction of the position of the peak value of the cross-correlation function for each cross-correlation function unit cell for the difference analysis of two frames by the cross-correlation function processing (S118). , A detection unit cell in which the deviation direction of the peak value position is non-uniform is extracted (S122). Then, the detection unit 24 considers the detection unit cell in which the extracted detection unit cell is contained in a proportion equal to or more than a specified ratio as the detection region (presence position of volatile matter) (S22). As a result, in the second embodiment, the deviation direction of the peak value is non-uniform, and the range where the air fluctuation is generated is regarded as the existence position of the volatile matter. Therefore, an image (frame extracted from the moving image) is used. , It is possible to accurately detect the presence position of volatile substances. As described above, in the present embodiment, since the photographing range of the camera can be set as the detection range of the volatile matter, the volatile matter can be detected in a wider range than the sensor for detecting the component of the volatile matter. Therefore, the cost of the system can be reduced as compared with the case where a large number of expensive sensors are installed. Further, in the present embodiment, since the security camera can be diverted as the camera 70, it is possible to reduce the cost by sharing the equipment.

なお、上記各実施形態では、フレーム取得部２１は、カメラが撮影した動画から２枚のフレームを取得する場合について説明したが、これに限られるものではない。例えば、フレーム取得部２１は、カメラが静止画を撮影する場合には、所定時間間隔で撮影された２枚の画像を取得してもよい。 In each of the above embodiments, the frame acquisition unit 21 has described the case of acquiring two frames from the moving image captured by the camera, but the present invention is not limited to this. For example, when the camera captures a still image, the frame acquisition unit 21 may acquire two images captured at predetermined time intervals.

なお、上記各実施形態では、２枚のフレームから抽出された特徴量の比較として、差分分析単位格子毎に、画素値の相互相関関数のピーク値の位置を求める場合について説明したが、これに限られるものではない。すなわち、フレームから抽出可能なその他の特徴量を比較してもよい。 In each of the above embodiments, as a comparison of the features extracted from the two frames, a case where the position of the peak value of the cross-correlation function of the pixel values is obtained for each difference analysis unit cell has been described. It is not limited. That is, other features that can be extracted from the frame may be compared.

なお、上記各実施形態では、図３や図９の処理をサーバ１０が実行する場合について説明したが、これに限られるものではない。例えば、各カメラ７０が有するＣＰＵが、図３や図９の処理を実行することとしてもよい。この場合、各カメラ７０から、報知装置７２に通知が行われることになる。なお、カメラ７０が報知装置７２と同様の機能を有する場合（報知用のスピーカ等を有する場合）には、報知装置７２を省略してもよい。 In each of the above embodiments, the case where the server 10 executes the processes of FIGS. 3 and 9 has been described, but the present invention is not limited to this. For example, the CPU of each camera 70 may execute the processes of FIGS. 3 and 9. In this case, each camera 70 notifies the notification device 72. When the camera 70 has the same function as the notification device 72 (when it has a speaker for notification or the like), the notification device 72 may be omitted.

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。 The above processing function can be realized by a computer. In that case, a program that describes the processing content of the function that the processing device should have is provided. By executing the program on a computer, the above processing function is realized on the computer. The program describing the processing content can be recorded on a computer-readable recording medium (however, the carrier wave is excluded).

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 When a program is distributed, it is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in the storage device of the server computer and transfer the program from the server computer to another computer via the network.

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes the processing according to the program. The computer can also read the program directly from the portable recording medium and execute the processing according to the program. In addition, the computer can sequentially execute processing according to the received program each time the program is transferred from the server computer.

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 The embodiments described above are examples of preferred embodiments of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the gist of the present invention.

なお、以上の第１、第２の実施形態の説明に関して、更に以下の付記を開示する。
（付記１）時間的に前後するタイミングで撮影して得られた第１の画像と、第２の画像とを取得し、
前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量を比較し、
前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量との間に変化が検出され、かつ、変化の大きさが所定の大きさ以下である画像領域を特定し、
特定した前記画像領域に基づいて揮発物の存在位置を検出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
（付記２）前記検出する処理では、特定した前記画像領域を所定割合以上含む範囲を前記揮発物の存在位置として検出することを特徴とする付記１に記載の画像処理プログラム。
（付記３）
特定した前記画像領域を所定割合以上含む範囲の大きさに応じた通知を行うことを特徴とする付記１又は２に記載の画像処理プログラム。
（付記４）前記画像領域を特定する処理では、前記変化の大きさが閾値を超えた場合に、変化が検出されたとすることを特徴とする付記１〜３のいずれかに記載の画像処理プログラム。
（付記５）時間的に前後するタイミングで撮影して得られた第１の画像と、第２の画像とを取得し、
前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量を比較し、
前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量との間に変化が検出され、かつ、変化の大きさが所定の大きさ以下である画像領域を特定し、
特定した前記画像領域に基づいて揮発物の存在位置を検出する、
処理をコンピュータが実行することを特徴とする画像処理方法。
（付記６）時間的に前後するタイミングで撮影して得られた第１の画像と、第２の画像とを取得する取得部と、
前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量を比較し、前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量との間に変化が検出され、かつ、変化の大きさが所定の大きさ以下である画像領域を特定する特定部と、
特定した前記画像領域に基づいて揮発物の存在位置を検出する検出部と、
を有することを特徴とする画像処理装置。
（付記７）前記検出部は、特定した前記画像領域を所定割合以上含む範囲を前記揮発物の存在位置として検出することを特徴とする付記６に記載の画像処理装置。
（付記８）前記特定部は、前記変化の大きさが閾値を超えた場合に、変化が検出されたとすることを特徴とする付記６又は７に記載の画像処理装置。
（付記９）時間的に前後するタイミングで撮影して得られた第１の画像と、第２の画像とを取得し、
前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量を比較し、
前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量との間に変化が検出され、かつ、変化の方向の分布が不均一な画像領域を特定し、
特定した前記画像領域に基づいて揮発物の存在位置を検出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
（付記１０）前記検出する処理では、特定した画像領域を所定割合以上含む範囲を前記揮発物の存在位置として検出することを特徴とする付記９に記載の画像処理プログラム。
（付記１１）前記画像領域を特定する処理では、前記変化の大きさが閾値を超えた場合に、変化が検出されたとすることを特徴とする付記９又は１０に記載の画像処理プログラム。
（付記１２）時間的に前後するタイミングで撮影して得られた第１の画像と、第２の画像とを取得し、
前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量を比較し、
前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量との間に変化が検出され、かつ、変化の方向の分布が不均一な画像領域を特定し、
特定した前記画像領域に基づいて揮発物の存在位置を検出する、
処理をコンピュータが実行することを特徴とする画像処理方法。
（付記１３）時間的に前後するタイミングで撮影して得られた第１の画像と、第２の画像とを取得する取得部と、
前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量を比較し、前記第１の画像から抽出した特徴量と前記第２の画像から抽出した特徴量との間に変化が検出され、かつ、変化の方向の分布が不均一な画像領域を特定する特定部と、
特定した前記画像領域に基づいて揮発物の存在位置を検出する検出部と、
を有することを特徴とする画像処理装置。
（付記１４）前記検出部は、特定した画像領域を所定割合以上含む範囲を前記揮発物の存在位置として検出することを特徴とする付記１３に記載の画像処理装置。
（付記１５）前記特定部は、前記変化の大きさが閾値を超えた場合に、変化が検出されたとすることを特徴とする付記１３又は１４に記載の画像処理装置。 Regarding the above description of the first and second embodiments, the following additional notes will be further disclosed.
(Appendix 1) The first image and the second image obtained by shooting at the timing before and after the time are acquired, and the images are acquired.
The feature amount extracted from the first image and the feature amount extracted from the second image are compared, and the feature amount is compared.
An image region in which a change is detected between the feature amount extracted from the first image and the feature amount extracted from the second image and the magnitude of the change is equal to or less than a predetermined magnitude is specified.
Detecting the location of volatiles based on the identified image region,
An image processing program characterized by causing a computer to perform processing.
(Appendix 2) The image processing program according to Appendix 1, wherein in the detection process, a range including the specified image region in a predetermined ratio or more is detected as the presence position of the volatile matter.
(Appendix 3)
The image processing program according to Appendix 1 or 2, wherein the notification is performed according to the size of a range including the specified image area in a predetermined ratio or more.
(Supplementary Note 4) The image processing program according to any one of Supplementary notes 1 to 3, wherein in the process of specifying the image region, a change is detected when the magnitude of the change exceeds a threshold value. ..
(Appendix 5) The first image and the second image obtained by shooting at the timing before and after the time are acquired, and the images are acquired.
The feature amount extracted from the first image and the feature amount extracted from the second image are compared, and the feature amount is compared.
An image region in which a change is detected between the feature amount extracted from the first image and the feature amount extracted from the second image and the magnitude of the change is equal to or less than a predetermined magnitude is specified.
Detecting the location of volatiles based on the identified image region,
An image processing method characterized in that processing is performed by a computer.
(Appendix 6) An acquisition unit for acquiring a first image and a second image obtained by taking pictures at timings before and after the time.
The feature amount extracted from the first image is compared with the feature amount extracted from the second image, and between the feature amount extracted from the first image and the feature amount extracted from the second image. A specific part that identifies an image area in which a change is detected and the magnitude of the change is less than or equal to a predetermined magnitude.
A detection unit that detects the presence position of volatile matter based on the identified image region, and
An image processing device characterized by having.
(Appendix 7) The image processing apparatus according to Appendix 6, wherein the detection unit detects a range including the specified image region in a predetermined ratio or more as the presence position of the volatile matter.
(Appendix 8) The image processing apparatus according to Appendix 6 or 7, wherein the specific unit detects a change when the magnitude of the change exceeds a threshold value.
(Appendix 9) The first image and the second image obtained by shooting at the timing before and after the time are acquired, and the images are acquired.
The feature amount extracted from the first image and the feature amount extracted from the second image are compared, and the feature amount is compared.
An image region in which a change is detected between the feature amount extracted from the first image and the feature amount extracted from the second image and the distribution in the direction of change is non-uniform is specified.
Detecting the location of volatiles based on the identified image region,
An image processing program characterized by causing a computer to perform processing.
(Supplementary Note 10) The image processing program according to Supplementary note 9, wherein in the detection process, a range including a specified ratio or more of the specified image region is detected as the presence position of the volatile matter.
(Appendix 11) The image processing program according to Appendix 9 or 10, wherein in the process of specifying the image region, a change is detected when the magnitude of the change exceeds a threshold value.
(Appendix 12) The first image and the second image obtained by shooting at timings before and after the time are acquired, and the images are acquired.
The feature amount extracted from the first image and the feature amount extracted from the second image are compared, and the feature amount is compared.
An image region in which a change is detected between the feature amount extracted from the first image and the feature amount extracted from the second image and the distribution in the direction of change is non-uniform is specified.
Detecting the location of volatiles based on the identified image region,
An image processing method characterized in that processing is performed by a computer.
(Appendix 13) An acquisition unit for acquiring a first image and a second image obtained by taking pictures at timings before and after the time.
The feature amount extracted from the first image is compared with the feature amount extracted from the second image, and between the feature amount extracted from the first image and the feature amount extracted from the second image. A specific part that identifies an image area where changes are detected and the distribution in the direction of change is uneven,
A detection unit that detects the presence position of volatile matter based on the identified image region, and
An image processing device characterized by having.
(Supplementary Note 14) The image processing apparatus according to Supplementary Note 13, wherein the detection unit detects a range including a specified image region or more as a presence position of the volatile matter.
(Appendix 15) The image processing apparatus according to Appendix 13 or 14, wherein the specific unit detects a change when the magnitude of the change exceeds a threshold value.

１０サーバ（画像処理装置）
２１フレーム取得部（取得部）
２３評価部（特定部）
２４検出部 10 Server (image processing device)
21 Frame acquisition section (acquisition section)
23 Evaluation Department (Specific Department)
24 Detector

Claims

時間的に前後するタイミングで撮影して得られた第１の画像と、第２の画像とを取得し、
前記第１の画像と前記第２の画像の画像領域ごとの相互相関に関する特徴量を比較し、
前記特徴量が第１の大きさ以上であり、かつ、前記第１の大きさよりも大きい第２の大きさ以下である画像領域を特定し、
特定した前記画像領域を所定割合以上含む範囲を揮発物の存在位置として検出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。 The first image and the second image obtained by shooting at the timing before and after the time are acquired, and the images are acquired.
Comparing the features related to the cross-correlation of the first image and the second image for each image region,
An image region in which the feature amount is equal to or larger than the first size and smaller than or equal to the second size larger than the first size is specified.
A range including the specified image region in a predetermined ratio or more is detected as the presence position of the volatile matter.
An image processing program characterized by causing a computer to perform processing.

特定した前記画像領域を所定割合以上含む範囲の大きさに応じた通知を行うことを特徴とする請求項１に記載の画像処理プログラム。 The image processing program according to claim 1 , wherein the notification is performed according to the size of a range including the specified image area in a predetermined ratio or more.

時間的に前後するタイミングで撮影して得られた第１の画像と、第２の画像とを取得し、
前記第１の画像と前記第２の画像の画像領域ごとの相互相関に関する特徴量を比較し、
前記特徴量が第１の大きさ以上であり、かつ、前記第１の大きさよりも大きい第２の大きさ以下である画像領域を特定し、
特定した前記画像領域を所定割合以上含む範囲を揮発物の存在位置として検出する、
処理をコンピュータが実行することを特徴とする画像処理方法。 The first image and the second image obtained by shooting at the timing before and after the time are acquired, and the images are acquired.
Comparing the features related to the cross-correlation of the first image and the second image for each image region,
An image region in which the feature amount is equal to or larger than the first size and smaller than or equal to the second size larger than the first size is specified.
A range including the specified image region in a predetermined ratio or more is detected as the presence position of the volatile matter.
An image processing method characterized in that processing is performed by a computer.

時間的に前後するタイミングで撮影して得られた第１の画像と、第２の画像とを取得する取得部と、
前記第１の画像と前記第２の画像の画像領域ごとの相互相関に関する特徴量を比較し、前記特徴量が第１の大きさ以上であり、かつ、前記第１の大きさよりも大きい第２の大きさ以下である画像領域を特定する特定部と、
特定した前記画像領域を所定割合以上含む範囲を揮発物の存在位置として検出する検出部と、
を有することを特徴とする画像処理装置。
An acquisition unit that acquires a first image and a second image obtained by taking pictures at timings before and after the time.
Comparing a feature quantity relating to the cross-correlation for each image region of the first image and the second image, the feature amount is equal to or larger than the first size, and a second larger than the first size A specific part that identifies an image area that is less than or equal to the size of
A detection unit that detects a range including the specified image region at a predetermined ratio or more as the presence position of the volatile matter, and
An image processing device characterized by having.