JP7503258B2 - Monitoring device, monitoring program, storage medium, and monitoring method - Google Patents
Monitoring device, monitoring program, storage medium, and monitoring method Download PDFInfo
- Publication number
- JP7503258B2 JP7503258B2 JP2018221751A JP2018221751A JP7503258B2 JP 7503258 B2 JP7503258 B2 JP 7503258B2 JP 2018221751 A JP2018221751 A JP 2018221751A JP 2018221751 A JP2018221751 A JP 2018221751A JP 7503258 B2 JP7503258 B2 JP 7503258B2
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- information
- monitoring device
- event
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 392
- 238000012806 monitoring device Methods 0.000 title claims description 232
- 238000000034 method Methods 0.000 title claims description 103
- 235000013330 chicken meat Nutrition 0.000 claims description 139
- 241000287828 Gallus gallus Species 0.000 claims description 136
- 238000004891 communication Methods 0.000 claims description 121
- 230000006870 function Effects 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 35
- 238000004378 air conditioning Methods 0.000 claims description 5
- 238000003331 infrared imaging Methods 0.000 claims description 2
- 230000001944 accentuation Effects 0.000 claims 2
- 230000004936 stimulating effect Effects 0.000 claims 2
- 230000002159 abnormal effect Effects 0.000 description 78
- 238000010586 diagram Methods 0.000 description 49
- 238000012545 processing Methods 0.000 description 42
- 230000008859 change Effects 0.000 description 30
- 230000034994 death Effects 0.000 description 29
- 231100000517 death Toxicity 0.000 description 29
- 230000001133 acceleration Effects 0.000 description 26
- 238000009434 installation Methods 0.000 description 20
- 238000005259 measurement Methods 0.000 description 19
- 230000009471 action Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 101100238516 Rattus norvegicus Mrgprx1 gene Proteins 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 235000019645 odor Nutrition 0.000 description 6
- 239000000779 smoke Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000007717 exclusion Effects 0.000 description 4
- 210000003746 feather Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 101100512903 Arabidopsis thaliana MES6 gene Proteins 0.000 description 3
- 101100264074 Caenorhabditis elegans wrn-1 gene Proteins 0.000 description 3
- 101100289061 Drosophila melanogaster lili gene Proteins 0.000 description 3
- 101100236975 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) GAL11 gene Proteins 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 238000009423 ventilation Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 102100030393 G-patch domain and KOW motifs-containing protein Human genes 0.000 description 2
- 101100131277 Homo sapiens MRGPRX3 gene Proteins 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 101150090280 MOS1 gene Proteins 0.000 description 2
- 102100028178 Mas-related G-protein coupled receptor member X3 Human genes 0.000 description 2
- 101100401568 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) MIC10 gene Proteins 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000003608 fece Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910052982 molybdenum disulfide Inorganic materials 0.000 description 2
- 101100478187 Arabidopsis thaliana MOS4 gene Proteins 0.000 description 1
- 101100461812 Arabidopsis thaliana NUP96 gene Proteins 0.000 description 1
- 208000033748 Device issues Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 210000003323 beak Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 210000001520 comb Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 101150061721 mmm1 gene Proteins 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000003016 pheromone Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Description
本発明は、監視装置、監視プログラム、記憶媒体、および、監視方法に関し、特に、移動監視装置（ドローンなど）を用いた監視装置、監視プログラム、記憶媒体、および、監視方法に関するものである。 The present invention relates to a monitoring device, a monitoring program, a storage medium, and a monitoring method, and in particular to a monitoring device, a monitoring program, a storage medium, and a monitoring method that use a mobile monitoring device (such as a drone).
監視カメラは、従来から利用されてきたが、インターネット回線の普及によってネットワークに接続され、遠隔のサーバで監視するような運用が多くなりつつある。また、カメラの画素数も多くなり、録画された画像を事後的に解析して、事故や犯罪の認識が可能となった。このような監視カメラの現状であるが、最も多い利用形態は、建物に無人の監視カメラを設置し、遠隔地において、警備会社などの防犯係員が監視カメラの映像を監視して、防犯に役立てるものである。防犯係員は、監視カメラの多数の画像を多数の表示装置で実際に観察して、疑わしい対象（不審者や不審物）を認識し、必要であれば、警備員を派遣したり、不審者に警告したりしている。 Surveillance cameras have been used for a long time, but with the spread of Internet lines, they are increasingly being connected to a network and monitored by a remote server. Cameras also have more pixels, making it possible to analyze recorded images after the fact and identify accidents and crimes. The most common way surveillance cameras are currently used is to install unmanned surveillance cameras in buildings and have security personnel from a security company or other organization monitor the surveillance camera footage in a remote location to help with crime prevention. The security personnel actually observe the many images from the surveillance cameras on multiple display devices, recognize suspicious targets (suspicious people or objects), and if necessary, dispatch security guards or warn the suspicious person.
しかしながら、防犯係員は、様々な場所、様々な建物を映す監視カメラの画像を見ることになるが、近年、テロや犯罪などもあり、監視カメラの設置は急激に増加しているが、このような状況は、監視する防犯係員の負担を増加させ、監視ミスを誘発させている。 However, security officers view images from surveillance cameras that show a variety of locations and buildings. In recent years, the number of surveillance cameras installed has increased dramatically due to terrorism and crime. This situation increases the burden on security officers and leads to monitoring errors.
他方、ドローンと称する小型飛翔体の制御技術が急速に向上し、室内であれば、相当精度よく安定させて飛行させることが可能となってきている。また、ドローンは、小型のカメラを搭載させ、無線による操縦や、自律的にプログラムされたルートを飛行させることが可能である。このようなドローンを用いた監視システムが実用化すれば、低コストで安全に監視することが可能となるが、そのようなシステムはまだ開発されていない。 On the other hand, the technology to control small flying objects known as drones has improved rapidly, and it is now possible to fly them stably and with a considerable degree of precision indoors. Drones can also be equipped with small cameras and controlled wirelessly or flown autonomously along programmed routes. If a surveillance system using such drones were to be put into practical use, it would enable safe surveillance at low cost, but such a system has not yet been developed.
監視カメラの自動化の従来技術として、画像処理装置、画像処理システム及びプログラム（特許文献１を参照されたい。）がある。これは、「監視領域の全景画像内に注視領域を設定し、画像解析手段により、設定した注視領域の画像を解析して移動体を検出し、検出に基づきカメラ部のズームカメラを作動して上記移動体を撮影する。その際、注視部分画像に全景画像との空間的な関係情報と、注視部分画像の全景画像における時間軸上の遷移を示す時間的な関係情報を作成し、注視部分画像に前記各関係情報を付与して画像記憶部に記憶させる。検索時には、上記各関係情報を用いて、全景画像及び注視部分画像を検索して両画像を重ねて表示部に表示する。」といった技術である。 Conventional technologies for automating surveillance cameras include an image processing device, an image processing system, and a program (see Patent Document 1). This technology involves "setting a gaze area within a panoramic image of a surveillance area, analyzing the image of the set gaze area with an image analysis means to detect a moving object, and operating the zoom camera of the camera unit based on the detection to photograph the moving object. At that time, spatial relationship information with the panoramic image and temporal relationship information showing the transition of the gazed-part image on the time axis in the panoramic image are created for the gazed-part image, and the gazed-part image is assigned with each of the relationship information and stored in the image storage unit. During a search, the panoramic image and the gazed-part image are searched for using each of the relationship information, and the two images are superimposed and displayed on the display unit."
上記の従来技術は、監視領域を設定した後で、その監視領域内での移動体を不審な対象としてズームさせて撮影するものである。これは、不審者を自動追尾してズームする技術であるが、「監視領域の自動設定」はできない。また、監視領域が広い場合や監視領域に複数の移動体が入った場合には、高速な演算装置でなければ処理が間に合わなくなり、不審な対象の捕捉が不可能になるなどのデメリットがある。 The above-mentioned conventional technology involves first setting a surveillance area, and then zooming in and photographing any moving objects within that surveillance area as suspicious targets. This is a technology that automatically tracks and zooms in on suspicious individuals, but it does not allow for "automatic setting of surveillance areas." Furthermore, when the surveillance area is large or when multiple moving objects are present within the surveillance area, unless a high-speed computing device is used, the processing cannot keep up, and there are disadvantages such as making it impossible to capture suspicious targets.
このように、監視カメラの自動化の技術は発展してきたが、監視対象の識別、特定、認証といった技術は、いまだ実用化レベルには達していない。 Though the technology for automating surveillance cameras has advanced in this way, the technology for identifying, specifying, and authenticating the subject of surveillance has not yet reached a practical level.
さらに、監視カメラをドローンなどの移動器機に搭載する試みはあるが、建物内において、監視行動を行うためにドローンの飛行ルートを設定するような技術は開発されていない。特に、建物内では、ＧＰＳ信号が届かないため、ＧＰＳ信号を利用したプログラムされた自律航行ができないといった問題がある。さらに、ドローンを使えば、人件費の大幅な削減になり、さらに、危険な場所、人が長時間出入りするのに困難な場所でも、ドローンを活用するのに適している。また、ドローンに限らず、屋内の移動監視装置は、人件費の大幅な削減になり、さらに、危険な場所、人が長時間出入りするのに困難な場所でも、活用するのに適している。 Furthermore, although there have been attempts to mount surveillance cameras on mobile devices such as drones, no technology has been developed to set drone flight routes for surveillance activities inside buildings. In particular, there is a problem in that GPS signals cannot reach inside buildings, making programmed autonomous navigation using GPS signals impossible. Furthermore, the use of drones can significantly reduce labor costs, and drones are suitable for use in dangerous locations and places where it is difficult for people to enter and exit for long periods of time. In addition, not limited to drones, indoor mobile surveillance devices can significantly reduce labor costs, and are suitable for use in dangerous locations and places where it is difficult for people to enter and exit for long periods of time.
そこで、本発明の目的は、特に、ＣＡＤ情報に基づき、飛行ルートを設定するドローンを用いた監視装置、監視プログラム、記憶媒体、および、監視方法を提供することである。 The object of the present invention is therefore to provide a surveillance device, surveillance program, storage medium, and surveillance method that uses a drone that sets a flight route based on CAD information.
また、本発明の他の目的は、移動監視装置を用いた監視装置、監視プログラム、記憶媒体、および、監視方法を提供することである。 Another object of the present invention is to provide a monitoring device, a monitoring program, a storage medium, and a monitoring method using a mobile monitoring device.
上述した諸課題を解決すべく、第１の発明による監視装置は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力部と、
を有し、
前記サーバが、
建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
In order to solve the above problems, a monitoring device according to a first aspect of the present invention comprises:
A surveillance device including a drone and a server,
The drone,
An imaging unit that captures images during flight;
A communication unit that receives flight route and position index placement information;
A control unit that controls the flight of the device along the flight route while recognizing the position of the device based on the position index arrangement information;
a monitoring unit that monitors whether a monitoring event occurs in the image;
an output unit that, when a monitored event occurs, outputs (transmits) an alert including a position where the monitored event occurred and an image at the time of the occurrence to the server via the communication unit or another communication means;
having
The server,
An acquisition unit that acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting unit that sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting unit for setting monitoring events (abnormal events, intruders, fires, deaths, specific actions, etc.) of the monitoring target;
a communication unit that transmits the flight route, the position indicator arrangement information, and a monitoring event to the drone, and receives an alert from the drone, the alert including a position where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第２の発明による監視装置は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、飛行速度を減速させるか、または、空中停止させるように前記制御部を制御し、所定の時間以上、監視事象が継続した場合に監視事象の発生を確定し、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力部と、
を有し、
前記サーバが、
建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
A monitoring device according to a second aspect of the present invention comprises:
A surveillance device including a drone and a server,
The drone,
An imaging unit that captures images during flight;
A communication unit that receives flight route and position index placement information;
A control unit that controls the flight of the device along the flight route while recognizing the position of the device based on the position index arrangement information;
a monitoring unit that monitors whether a monitoring event occurs in the image;
an output unit that controls the control unit to slow down the flight speed or stop the drone in mid-air when a monitoring event occurs, and determines the occurrence of a monitoring event when the monitoring event continues for a predetermined time or more, and outputs (transmits) an alarm including the location where the monitoring event occurred and an image at the time of occurrence to the server via the communication unit or other communication means;
having
The server,
an acquisition unit that acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting unit that sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting unit for setting monitoring events (abnormal events, intruders, fires, deaths, specific actions, etc.) of the monitoring target;
a communication unit that transmits the flight route, the position indicator arrangement information, and a monitoring event to the drone, and receives an alert from the drone, the alert including a position where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第３の発明による監視装置は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、監視事象の対象物（例えば、火事の煙、死んだ鶏）の温度を計測し（赤外線カメラ機能、または、前記撮像部が赤外線カメラ機能を含む）、所定の温度以下の場合に、監視事象の発生を確定し、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力部と、
を有し、
前記サーバが、
建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
A monitoring device according to a third aspect of the present invention comprises:
A surveillance device including a drone and a server,
The drone,
An imaging unit that captures images during flight;
A communication unit that receives flight route and position index placement information;
A control unit that controls the flight of the device along the flight route while recognizing the position of the device based on the position index arrangement information;
a monitoring unit that monitors whether a monitoring event occurs in the image;
an output unit that, when a monitored event occurs, measures the temperature of the object of the monitored event (e.g., smoke from a fire, a dead chicken) (using an infrared camera function, or the imaging unit includes an infrared camera function), and if the temperature is equal to or lower than a predetermined temperature, determines that the monitored event has occurred, and outputs (transmits) an alarm including the location where the monitored event occurred and an image at the time of occurrence to the server via the communication unit or other communication means;
having
The server,
An acquisition unit that acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting unit that sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting unit for setting monitoring events (abnormal events, intruders, fires, deaths, specific actions, etc.) of the monitoring target;
a communication unit that transmits the flight route, the position indicator arrangement information, and a monitoring event to the drone, and receives an alert from the drone, the alert including a position where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第４の発明による監視装置は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
飛行中に画像を撮像する撮像部と、
飛行ルートと、位置指標配置情報と、監視事象顕著化情報（給餌情報（給餌の場所、時間など）、侵入者威嚇情報（警告音発生場所、時間など）など）と、を受信する通信部と、
前記位置指標配置情報、に基づき、自装置の位置を認識しながら、さらに前記監視事象顕著化情報にも基づき、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力部と、
を有し、
前記サーバが、
建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
A monitoring device according to a fourth aspect of the present invention comprises:
A surveillance device including a drone and a server,
The drone,
An imaging unit that captures images during flight;
A communication unit that receives flight routes, position indicator arrangement information, and monitored event salience information (feeding information (e.g., feeding location and time), intruder intimidation information (e.g., warning sound generation location and time), etc.)
A control unit that recognizes the position of the device based on the position index arrangement information and controls the flight of the device along the flight route based on the monitoring event salience information;
a monitoring unit that monitors whether a monitoring event occurs in the image;
an output unit that, when a monitored event occurs, outputs (transmits) an alert including a position where the monitored event occurred and an image at the time of the occurrence to the server via the communication unit or another communication means;
having
The server,
An acquisition unit that acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting unit that sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting unit for setting monitoring events (abnormal events, intruders, fires, deaths, specific actions, etc.) of the monitoring target;
a communication unit that transmits the flight route, the position indicator arrangement information, and a monitoring event to the drone, and receives an alert from the drone, the alert including a position where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第５の発明による監視装置（各種センサの活用）は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
角速度を計測するジャイロセンサと、
加速度を計測する加速度センサと、
高度を計測する高度センサと、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報、前記角速度、前記加速度、前記高度、に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力部と、
を有し、
前記サーバが、
建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
In addition, the monitoring device according to the fifth invention (utilizing various sensors) is
A surveillance device including a drone and a server,
The drone,
A gyro sensor that measures angular velocity;
an acceleration sensor that measures acceleration;
an altitude sensor for measuring altitude;
An imaging unit that captures images during flight;
A communication unit that receives flight route and position index placement information;
A control unit that controls the flight of the device along the flight route while recognizing the position of the device based on the position index arrangement information, the angular velocity, the acceleration, and the altitude;
a monitoring unit that monitors whether a monitoring event occurs in the image;
an output unit that, when a monitored event occurs, outputs (transmits) an alert including a position where the monitored event occurred and an image at the time of the occurrence to the server via the communication unit or another communication means;
having
The server,
An acquisition unit that acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting unit that sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting unit for setting monitoring events (abnormal events, intruders, fires, deaths, specific actions, etc.) of the monitoring target;
a communication unit that transmits the flight route, the position indicator arrangement information, and a monitoring event to the drone, and receives an alert from the drone, the alert including a position where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第６の発明による監視装置（鶏舎監視）は、
鶏舎監視のためのドローンとサーバとを含む監視装置であって、
前記ドローンが、
角速度を計測するジャイロセンサと、
加速度を計測する加速度センサと、
高度を計測する高度センサと、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報、前記角速度、前記加速度、前記高度、に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
画像認識技術を用いて、前記画像内の鶏を個別に捕捉し、監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力部と、
を有し、
前記サーバが、
建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ）のレイアウト情報と、を取得する取得部と、
監視対象の設置物にいる鶏を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象（鶏が動かない、など）を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、前記監視事象とを前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部と、
を有する、
ことを特徴とする。
In addition, the monitoring device (chicken house monitoring) according to the sixth invention is
A monitoring device including a drone and a server for monitoring a chicken coop,
The drone,
A gyro sensor that measures angular velocity;
an acceleration sensor that measures acceleration;
an altitude sensor for measuring altitude;
An imaging unit that captures images during flight;
A communication unit that receives flight route and position index placement information;
A control unit that controls the flight of the device along the flight route while recognizing the position of the device based on the position index arrangement information, the angular velocity, the acceleration, and the altitude;
A monitoring unit that uses image recognition technology to capture individual chickens in the image and monitor whether a monitoring event has occurred;
an output unit that, when a monitored event occurs, outputs (transmits) an alert including a position where the monitored event occurred and an image at the time of the occurrence to the server via the communication unit or another communication means;
having
The server,
An acquisition unit that acquires CAD information of a building, position index arrangement information, and layout information of an object to be monitored (e.g., a chicken coop cage) that is arranged in the building;
A flight route setting unit that sets a flight route of the drone within the building to monitor chickens in a monitored installation or receives an input of the flight route;
A monitoring event setting unit that sets a monitoring event of a monitoring target (e.g., a chicken not moving);
a communication unit that transmits the flight route, the position indicator arrangement information, and the monitoring event to the drone, and receives an alert from the drone, the alert including a position where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第７の発明による監視装置（サーバによる監視型、ドローンは単なる撮像装置）は、
ドローンとサーバとを含む監視装置であって、
前記ドローンが、
飛行中に画像を撮像する撮像部と、
飛行ルートと位置指標配置情報とを受信する通信部と、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部と、
を有し、
前記通信部が、
自装置の位置と、前記画像とを前記サーバに送信し、
前記サーバが、
建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得部と、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部と、
監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定部と、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、前記自装置の位置と、前記画像とを受信する通信部と、
前記画像に監視事象が発生しているか否かを監視する監視部と、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を出力（送信）する出力部と、
を有する、
ことを特徴とする。
In addition, the monitoring device according to the seventh invention (monitoring type by a server, the drone is simply an imaging device) is as follows:
A surveillance device including a drone and a server,
The drone,
An imaging unit that captures images during flight;
A communication unit that receives flight route and position index placement information;
A control unit that controls the flight of the device along the flight route while recognizing the position of the device based on the position index arrangement information;
having
The communication unit,
Transmitting the position of the own device and the image to the server;
The server,
an acquisition unit that acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting unit that sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting unit for setting monitoring events (abnormal events, intruders, fires, deaths, specific actions, etc.) of the monitoring target;
a communication unit that transmits the flight route, the position indicator arrangement information, and the monitoring event to the drone and receives the position of the device and the image from the drone;
a monitoring unit that monitors whether a monitoring event occurs in the image;
an output unit that outputs (transmits) an alarm including a position where the monitored event occurred and an image of the monitored event when the monitored event occurred;
having
It is characterized by:
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。なお、下記の方法やプログラムの各ステップは、データの処理においては必要に応じて、CPU、DSPなどの演算処理装置を使用するものであり、入力したデータや加工・生成したデータなどを磁気テープ、HDD、メモリなどの記憶装置に格納するものである。 As mentioned above, the solution of the present invention has been described as an apparatus, but the present invention can also be realized as a method, program, or storage medium on which a program is recorded that substantially corresponds to these, and it should be understood that these are also included within the scope of the present invention. Note that each step of the method and program below uses a processor such as a CPU or DSP for data processing as necessary, and input data and processed/generated data are stored in a storage device such as a magnetic tape, HDD, or memory.
例えば、本発明をプログラムとして実現させた第８の発明による監視プログラムは、
１つまたは複数の演算処理装置を第１～７のいずれかの発明に記載の監視装置として機能させる監視プログラムである。
For example, a monitoring program according to an eighth aspect of the present invention, which is a program implementing the present invention,
A monitoring program that causes one or more processors to function as the monitoring device according to any one of the first to seventh aspects of the present invention.
また、例えば、本発明を記憶媒体として実現させた第９の発明による記憶媒体は、
第８の発明に記載の監視プログラムを格納したコンピュータ可読な記憶媒体である。
For example, a storage medium according to a ninth aspect of the present invention is a storage medium,
A computer-readable storage medium storing the monitoring program according to an eighth aspect of the present invention.
また、例えば、本発明を方法として実現させた第１０の発明による監視方法は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンがが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記ドローンが、前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力ステップと、
を有し、
前記サーバが、建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
For example, a monitoring method according to a tenth aspect of the present invention, which is a method of implementing the present invention, is as follows:
A surveillance method using a drone and a server, comprising:
An imaging step in which the drone captures an image during flight;
A communication step in which the drone receives flight route and position indicator placement information;
A control step in which the drone controls the flight of the drone along the flight route while recognizing the position of the drone based on the position indicator arrangement information;
A monitoring step in which the drone monitors whether a monitoring event occurs in the image;
an output step in which, when a monitoring event occurs, the drone outputs (transmits) an alert including a position where the monitoring event occurred and an image at the time of the occurrence to the server via the communication unit or other communication means;
having
an acquisition step in which the server acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting step in which the server sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting step in which the server sets a monitoring event (an abnormal event, an intruder, a fire, a death, a specific action, etc.) of a monitoring target;
A communication step in which the server transmits the flight route, the position indicator arrangement information, and the monitoring event to the drone, and receives an alert from the drone including a location where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第１１の発明による監視方法（空中停止）は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、飛行速度を減速させるか、または、空中停止させるように前記制御部を制御し、所定の時間以上、監視事象が継続した場合に監視事象の発生を確定し、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力ステップと、
前記サーバが、建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
The monitoring method (air suspension) according to an eleventh aspect of the present invention comprises:
A surveillance method using a drone and a server, comprising:
An imaging step in which the drone captures an image during flight;
A communication step in which the drone receives flight route and position indicator placement information;
A control step of controlling a flight of the device along the flight route while recognizing the position of the device based on the position index arrangement information;
A monitoring step in which the drone monitors whether a monitoring event occurs in the image;
an output step of controlling the control unit so that the drone slows down its flight speed or stops in mid-air when a monitoring event occurs, determining the occurrence of a monitoring event when the monitoring event continues for a predetermined time or longer, and outputting (transmitting) an alert including the location where the monitoring event occurred and an image at the time of the occurrence to the server via the communication unit or other communication means;
an acquisition step in which the server acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting step in which the server sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting step in which the server sets a monitoring event (an abnormal event, an intruder, a fire, a death, a specific action, etc.) of a monitoring target;
A communication step in which the server transmits the flight route, the position indicator arrangement information, and the monitoring event to the drone, and receives an alert from the drone including a location where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第１２の発明による監視方法（温度計測）は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記ドローンが、前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、監視事象の対象物（例えば、火事の煙、死んだ鶏）の温度を計測し（赤外線カメラ機能、または、前記撮像部が赤外線カメラ機能を含む）、所定の温度以下（または以上）の場合に、監視事象の発生を確定し、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力ステップと、
前記サーバが、建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
A monitoring method (temperature measurement) according to a twelfth aspect of the present invention includes:
A surveillance method using a drone and a server, comprising:
An imaging step in which the drone captures an image during flight;
A communication step in which the drone receives flight route and position indicator placement information;
A control step in which the drone controls the flight of the drone along the flight route while recognizing the position of the drone based on the position indicator arrangement information;
A monitoring step in which the drone monitors whether a monitoring event occurs in the image;
an output step in which the drone measures the temperature of the object of the monitored event (e.g., smoke from a fire, a dead chicken) (using an infrared camera function, or the imaging unit includes an infrared camera function) when a monitored event occurs, and if the temperature is below (or above) a predetermined temperature, determines that the monitored event has occurred, and outputs (transmits) an alert including the location where the monitored event occurred and an image at the time of occurrence to the server via the communication unit or other communication means;
an acquisition step in which the server acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting step in which the server sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting step in which the server sets a monitoring event (an abnormal event, an intruder, a fire, a death, a specific action, etc.) of a monitoring target;
A communication step in which the server transmits the flight route, the position indicator arrangement information, and the monitoring event to the drone, and receives an alert from the drone including a location where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第１３の発明による監視方法（顕著化情報の活用）は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと、位置指標配置情報と、監視事象顕著化情報（給餌情報（給餌の場所、時間など）、侵入者威嚇情報（警告音発生場所、時間など）など）と、を受信する通信ステップと、
前記ドローンが、前記位置指標配置情報、に基づき、自装置の位置を認識しながら、さらに前記監視事象顕著化情報にも基づき、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力ステップと、
を有し、
前記サーバが、建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
In addition, the monitoring method according to the thirteenth aspect of the present invention (utilization of salience information) comprises:
A surveillance method using a drone and a server, comprising:
An imaging step in which the drone captures an image during flight;
A communication step in which the drone receives a flight route, position indicator arrangement information, and monitoring event salience information (feeding information (e.g., feeding location, time, etc.), intruder intimidation information (e.g., warning sound generation location, time, etc.));
A control step in which the drone recognizes its own location based on the location indicator arrangement information and controls the flight of the drone along the flight route based on the monitoring event salience information;
A monitoring step in which the drone monitors whether a monitoring event occurs in the image;
an output step in which, when a monitoring event occurs, the drone outputs (transmits) an alert including a position where the monitoring event occurred and an image at the time of the occurrence to the server via the communication unit or other communication means;
having
an acquisition step in which the server acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting step in which the server sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting step in which the server sets a monitoring event (an abnormal event, an intruder, a fire, a death, a specific action, etc.) of a monitoring target;
A communication step in which the server transmits the flight route, the position indicator arrangement information, and the monitoring event to the drone, and receives an alert from the drone including a location where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第１４の発明による監視方法（各種センサの活用）は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、
角速度を計測するジャイロセンサと、
加速度を計測する加速度センサと、
高度を計測する高度センサと、
を有し、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記ドローンが、前記位置指標配置情報、前記角速度、前記加速度、前記高度、に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力ステップと、
を有し、
前記サーバが、建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
In addition, the monitoring method according to the fourteenth aspect of the present invention (utilizing various sensors) is
A surveillance method using a drone and a server, comprising:
The drone,
A gyro sensor that measures angular velocity;
an acceleration sensor that measures acceleration;
an altitude sensor for measuring altitude;
having
An imaging step in which the drone captures an image during flight;
A communication step in which the drone receives flight route and position indicator placement information;
A control step in which the drone controls the flight of the drone along the flight route while recognizing the position of the drone based on the position index arrangement information, the angular velocity, the acceleration, and the altitude;
A monitoring step in which the drone monitors whether a monitoring event occurs in the image;
an output step in which, when a monitoring event occurs, the drone outputs (transmits) an alert including a position where the monitoring event occurred and an image at the time of the occurrence to the server via the communication unit or other communication means;
having
an acquisition step in which the server acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting step in which the server sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting step in which the server sets a monitoring event (an abnormal event, an intruder, a fire, a death, a specific action, etc.) of a monitoring target;
A communication step in which the server transmits the flight route, the position indicator arrangement information, and the monitoring event to the drone, and receives an alert from the drone including a location where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第１５の発明による監視方法（鶏舎監視）は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、
角速度を計測するジャイロセンサと、
加速度を計測する加速度センサと、
高度を計測する高度センサと、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記ドローンが、前記位置指標配置情報、前記角速度、前記加速度、前記高度、に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップと、
前記ドローンが、画像認識技術を用いて、前記画像内の鶏を個別に捕捉し、監視事象が発生しているか否かを監視する監視ステップと、
前記ドローンが、監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力ステップと、
を有し、
前記サーバが、建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ）のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物にいる鶏を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象（鶏が動かない、など）を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、前記監視事象とを前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信ステップと、
を有する、
ことを特徴とする。
In addition, the monitoring method (chicken coop monitoring) according to the fifteenth aspect of the present invention comprises:
A surveillance method using a drone and a server, comprising:
The drone,
A gyro sensor that measures angular velocity;
an acceleration sensor that measures acceleration;
an altitude sensor for measuring altitude;
An imaging step in which the drone captures an image during flight;
A communication step in which the drone receives flight route and position indicator placement information;
A control step in which the drone controls the flight of the drone along the flight route while recognizing the position of the drone based on the position index arrangement information, the angular velocity, the acceleration, and the altitude;
A monitoring step in which the drone individually captures chickens in the image using image recognition technology and monitors whether a monitoring event occurs;
an output step in which, when a monitoring event occurs, the drone outputs (transmits) an alert including a position where the monitoring event occurred and an image at the time of the occurrence to the server via the communication unit or other communication means;
having
an acquisition step in which the server acquires CAD information of a building, position index arrangement information, and layout information of an object to be monitored (a chicken coop cage) arranged in the building;
A flight route setting step in which the server sets a flight route of the drone within the building to monitor chickens in a monitored installation or receives an input of the flight route;
a monitoring event setting step in which the server sets a monitoring event (such as a chicken not moving) of a monitoring target;
a communication step in which the server transmits the flight route, the position indicator arrangement information, and the monitoring event to the drone, and receives an alert from the drone including a position where the monitoring event occurred and an image at the time of the occurrence;
having
It is characterized by:
また、第１６の発明による監視方法（サーバによる監視型、ドローンは単なる撮像装置）は、
ドローンとサーバとを用いた監視方法であって、
前記ドローンが、飛行中に画像を撮像する撮像ステップと、
前記ドローンが、飛行ルートと位置指標配置情報とを受信する通信ステップと、
前記ドローンが、前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御ステップ部と、
を有し、
前記ドローンが、自装置の位置と、前記画像とを前記サーバに送信するステップと、
前記サーバが、建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得ステップと、
前記サーバが、監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定ステップと、
前記サーバが、監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定ステップと、
前記サーバが、前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、前記自装置の位置と、前記画像とを受信する通信部と、
前記サーバが、前記画像に監視事象が発生しているか否かを監視する監視ステップと、
前記サーバが、監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を出力（送信）する出力ステップと、
を有する、
ことを特徴とする。
In addition, the monitoring method according to the sixteenth invention (monitoring type by a server, where the drone is merely an imaging device) is as follows:
A surveillance method using a drone and a server, comprising:
An imaging step in which the drone captures an image during flight;
A communication step in which the drone receives flight route and position indicator placement information;
A control step unit for controlling the flight of the drone along the flight route while recognizing the position of the drone based on the position indicator arrangement information;
having
The drone transmitting the position of the drone and the image to the server;
an acquisition step in which the server acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting step in which the server sets a flight route of the drone in the building for monitoring an installation to be monitored or receives an input of the flight route;
a monitoring event setting step in which the server sets a monitoring event (an abnormal event, an intruder, a fire, a death, a specific action, etc.) of a monitoring target;
A communication unit configured to transmit the flight route, the position indicator arrangement information, and the monitoring event to the drone and to receive the position of the drone and the image from the drone;
a monitoring step in which the server monitors whether a monitoring event occurs in the image;
an output step in which the server outputs (transmits) an alert including a position where the monitored event occurred and an image at the time of the occurrence when the monitored event occurred;
having
It is characterized by:
上述したように、ここまでは、移動監視装置として、ドローンを活用した態様で説明してきた。以下は、ドローンに限定せず、より一般的な移動監視装置として実現させた態様で説明する。 As mentioned above, up to this point, we have been explaining how to use drones as mobile monitoring devices. Below, we will explain how to use drones as a more general mobile monitoring device, without being limited to drones.
また、第１７の発明による監視装置は、
移動監視装置とサーバとを含む監視装置であって、
前記移動監視装置が、
画像を撮像する撮像部と、
自装置を移動させる駆動部と、
前記移動監視装置の位置を取得する取得部と、
前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信部と、
監視対象の監視事象（異常イベント、侵入者、火事、死亡、病気、特定動作、など）を設定する監視事象設定部と、
前記画像において、設定された監視事象が、発生しているか否かを監視する監視部と、
前記監視事象が発生したとき、（当該画像と、当該位置とを含むことが好適である）警報を出力する出力部と、
を有する、
ことを特徴とする。
A monitoring device according to a seventeenth aspect of the present invention comprises:
A monitoring device including a mobile monitoring device and a server,
The mobile monitoring device,
An imaging unit that captures an image;
A drive unit that moves the device itself;
An acquisition unit that acquires a position of the mobile monitoring device;
a communication unit that transmits monitoring information, including a position of the mobile monitoring device and an image at the position, to the server via a wireless or wired communication means;
having
The server,
a communication unit that receives the monitoring information from the mobile monitoring device, the monitoring information including a position of the mobile monitoring device and an image at the position;
a monitoring event setting unit for setting monitoring events (abnormal events, intruders, fires, deaths, illnesses, specific actions, etc.) of the monitoring target;
a monitoring unit that monitors whether a set monitoring event occurs in the image;
an output unit that outputs an alarm (preferably including an image of the event and the location of the event) when the event occurs;
having
It is characterized by:
また、第１８の発明による監視装置は、
前記移動監視装置が、
ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイド部をさらに有し、
前記駆動部が、
前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる、
ことを特徴とする。
A monitoring device according to an eighteenth aspect of the present invention comprises:
The mobile monitoring device,
The guide portion is movably supported, placed or suspended on the guide rail and is guided along the guide rail;
The drive unit is
The device is moved along the guide rail while being supported, placed or suspended on the guide rail.
It is characterized by:
また、第１９の発明による監視装置は、
前記移動監視装置の前記駆動部が、
自走式である、
ことを特徴とする。
A monitoring device according to a nineteenth aspect of the present invention comprises:
The drive unit of the mobile monitoring device is
It is self-propelled,
It is characterized by:
また、第２０の発明による監視装置は、
前記サーバが、
多数の画像と、該画像の少なくとも一部に関連付けられた監視事象とを格納する記憶部と、
前記監視部が、
設定された監視事象が、発生しているか否かを監視するにあたって、ＡＩ技法を用いて、前記記憶部を参照して、前記設定された監視事象が、発生しているか否かを監視する、
ことを特徴とする。
A monitoring device according to a twentieth aspect of the present invention comprises:
The server,
a memory unit for storing a number of images and monitored events associated with at least some of the images;
The monitoring unit,
When monitoring whether a set monitoring event has occurred, an AI technique is used to refer to the storage unit and monitor whether the set monitoring event has occurred.
It is characterized by:
また、第２１の発明による監視装置は、
前記移動監視装置の前記通信部が、
監視事象顕著化情報（給餌情報（給餌の場所、時間など）、侵入者威嚇情報（警告音発生場所、時間など）など）をさらに受信し、
前記移動監視装置の前記駆動部が、
前記監視事象顕著化情報に基づき、自装置の移動を制御する、
ことを特徴とする。
A monitoring device according to a twenty-first aspect of the present invention comprises:
The communication unit of the mobile monitoring device
Further receiving monitoring event salience information (feeding information (feeding location, time, etc.), intruder intimidation information (alarm sound generation location, time, etc.)),
The drive unit of the mobile monitoring device is
Controlling the movement of the device itself based on the monitored event salience information.
It is characterized by:
また、第２２の発明による監視装置は、
前記サーバの前記通信部が、
監視事象顕著化情報（給餌情報（給餌の場所、時間など）、侵入者威嚇情報（警告音発生場所、時間など）など）をさらに受信し、
前記サーバが、
前記監視事象顕著化情報に基づき、前記通信部を介して、前記移動監視装置の前記駆動部を制御して、前記移動監視装置を移動させる、
ことを特徴とする。
A monitoring device according to a twenty-second aspect of the present invention comprises:
The communication unit of the server
Further receiving monitoring event salience information (feeding information (feeding location, time, etc.), intruder intimidation information (alarm sound generation location, time, etc.)),
The server,
based on the monitoring event salience information, controlling the drive unit of the mobile monitoring device via the communication unit to move the mobile monitoring device;
It is characterized by:
また、第２３の発明による監視装置は、
前記監視事象顕著化情報が、
給餌情報（給餌の場所、時間など）、侵入者威嚇情報（警告光、警告振動、警告音発生場所、時間など）、臭い情報（監視対象の鶏などが嫌う、または、興奮する臭気など）、光情報（照明や屋内の照度、点滅、回転灯など）、開口部開閉情報（窓や換気扇の開閉など）、および、空調設定情報からなる群から選択される１つ以上のものである、
ことを特徴とする。
A monitoring device according to a twenty-third aspect of the present invention comprises:
The monitored event salience information is
The information is one or more selected from the group consisting of feeding information (e.g., feeding location and time), intruder scare information (e.g., warning light, warning vibration, warning sound location and time), odor information (e.g., odors that the monitored chickens dislike or are excited by), light information (e.g., lighting and indoor illuminance, flashing lights, rotating lights), opening/closing information (e.g., opening/closing of windows and ventilation fans), and air conditioning setting information.
It is characterized by:
また、第２４の発明による監視装置は、
前記移動監視装置が、
前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生手段をさらに有する（例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など）、
ことを特徴とする。
A monitoring device according to a twenty-fourth aspect of the present invention comprises:
The mobile monitoring device,
The device further includes a monitoring event conspicuous situation generating means for generating the situation of the monitoring event conspicuous information (for example, a rotating light that generates light, a speaker that generates sound, a rod-shaped part that makes contact with the chicken coop as it moves and generates vibrations and sound, a signal output unit that starts feeding, a control signal output unit that controls the output of lighting and sound, etc.).
It is characterized by:
また、第２５の発明による監視装置は、
前記移動監視装置が、
赤外線画像を撮像する赤外線カメラを、さらに有し、
前記移動監視装置の前記通信部が、
前記赤外線画像を、前記サーバにさらに送信し、
前記サーバの通信部が、
前記赤外線画像をさらに受信し、
前記サーバの監視部が、
前記監視事象が発生したとき、前記赤外線画像に基づき、監視事象の対象物（例えば、火事の煙、死んだ鶏）の温度を計測し、所定の温度と比較して（温度以下、温度以上など、）、監視事象の発生を確定する、
ことを特徴とする。
A monitoring device according to a twenty-fifth aspect of the present invention comprises:
The mobile monitoring device,
An infrared camera for capturing an infrared image,
The communication unit of the mobile monitoring device
further transmitting the infrared image to the server;
A communication unit of the server,
further receiving the infrared image;
A monitoring unit of the server,
When the monitoring event occurs, the temperature of the object of the monitoring event (e.g., smoke from a fire, a dead chicken) is measured based on the infrared image, and compared with a predetermined temperature (below the temperature, above the temperature, etc.) to determine the occurrence of the monitoring event;
It is characterized by:
また、第２６の発明による監視プログラムは、
１つまたは複数の演算処理装置を第１７～２５の発明のいずれか１つに記載の監視装置として機能させる監視プログラムである。
A monitoring program according to a twenty-sixth aspect of the present invention comprises:
A monitoring program that causes one or more processors to function as the monitoring device according to any one of the seventeenth to twenty-fifth aspects of the present invention.
また、第２７の発明による記憶媒体は、
第２６の発明に記載の監視プログラムを格納したコンピュータ可読な記憶媒体である。
A storage medium according to a twenty-seventh aspect of the present invention comprises:
A computer-readable storage medium storing the monitoring program according to the twenty-sixth aspect of the present invention.
また、第２８の発明による監視方法は、
移動監視装置とサーバとを用いた監視方法であって、
前記移動監視装置が、画像を撮像する撮像ステップと、
自装置を移動させる駆動ステップと、
前記移動監視装置が、前記移動監視装置の位置を取得する取得ステップと、
前記移動監視装置が、前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信ステップと、
前記サーバが、前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信ステップと、
前記サーバが、監視対象の監視事象（異常イベント、侵入者、火事、死亡、病気、特定動作、など）を設定する監視事象設定ステップと、
前記サーバが、前記画像において、設定された監視事象が、発生しているか否かを監視する監視ステップと、
前記サーバが、前記監視事象が発生したとき、（当該画像と、当該位置とを含むことが好適である）警報を出力する出力ステップと、
を有する、
ことを特徴とする。
A monitoring method according to a twenty-eighth aspect of the present invention comprises:
A monitoring method using a mobile monitoring device and a server, comprising:
an imaging step in which the mobile monitoring device captures an image;
a driving step of moving the own device;
an acquisition step in which the mobile monitoring device acquires a location of the mobile monitoring device;
a communication step in which the mobile monitoring device transmits monitoring information including a position of the mobile monitoring device and an image at the position to the server via a wireless or wired communication means;
a communication step in which the server receives the monitoring information from the mobile monitoring device, the monitoring information including a location of the mobile monitoring device and an image at the location;
a monitoring event setting step in which the server sets a monitoring event (an abnormal event, an intruder, a fire, a death, an illness, a specific action, etc.) of a monitoring target;
a monitoring step in which the server monitors whether a set monitoring event occurs in the image;
an output step in which the server outputs an alert (preferably including an image of the event and the location of the event) when the event occurs;
having
It is characterized by:
また、第２９の発明による監視方法は、
前記移動監視装置が、ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイドステップと、
前記移動監視装置が、前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる駆動ステップと、
をさらに有する、
ことを特徴とする。
A monitoring method according to a twenty-ninth aspect of the present invention comprises:
a guide step in which the movement monitoring device is movably supported, placed, or suspended on a guide rail and guided along the guide rail;
a driving step of moving the movement monitoring device along the guide rail while being supported, placed or suspended on the guide rail;
Further comprising
It is characterized by:
また、第３０の発明による監視方法は、
前記移動監視装置が、自走式である、
ことを特徴とする。
A monitoring method according to a 30th aspect of the present invention comprises:
The mobile monitoring device is self-propelled.
It is characterized by:
また、第３１の発明による監視方法は、
前記サーバが、多数の画像と、該画像の少なくとも一部に関連付けられた監視事象とを格納する記憶ステップと、
設定された監視事象が、発生しているか否かを監視するにあたって、ＡＩ技法を用いて、前記記憶部を参照して、前記設定された監視事象が、発生しているか否かを監視するステップと、
をさらに有する、ことを特徴とする。
A monitoring method according to a thirty-first aspect of the present invention comprises:
a storage step in which the server stores a number of images and monitored events associated with at least some of the images;
In monitoring whether a set monitoring event occurs, an AI technique is used to refer to the storage unit to monitor whether the set monitoring event occurs;
The present invention is characterized in that it further comprises:
また、第３２の発明による監視方法は、
前記移動監視装置が、監視事象顕著化情報（給餌情報（給餌の場所、時間など）、侵入者威嚇情報（警告音発生場所、時間など）など）をさらに受信する通信ステップと、
前記移動監視装置が、前記監視事象顕著化情報に基づき、自装置の移動を制御する、制御ステップと、
をさらに有する、ことを特徴とする。
A monitoring method according to a thirty-second aspect of the present invention comprises:
A communication step in which the mobile monitoring device further receives monitoring event salience information (feeding information (e.g., feeding location, time, etc.), intruder threatening information (e.g., warning sound generation location, time, etc.));
a control step in which the mobile monitoring device controls the movement of the device itself based on the monitored event salience information;
The present invention is characterized in that it further comprises:
また、第３３の発明による監視方法は、
前記サーバが、監視事象顕著化情報（給餌情報（給餌の場所、時間など）、侵入者威嚇情報（警告音発生場所、時間など）など）をさらに受信する受信ステップと、
前記サーバが、前記監視事象顕著化情報に基づき、前記通信部を介して、前記移動監視装置の前記駆動部を制御して、前記移動監視装置を移動させる、制御ステップと、
をさらに有する、ことを特徴とする。
A monitoring method according to a thirty-third aspect of the present invention comprises:
A receiving step in which the server further receives monitoring event salience information (feeding information (e.g., feeding location, time, etc.), intruder threatening information (e.g., warning sound generation location, time, etc.));
a control step in which the server controls the drive unit of the mobile monitoring device via the communication unit based on the monitoring event salience information to move the mobile monitoring device;
The present invention is characterized in that it further comprises:
また、第３４の発明による監視方法は、
前記監視事象顕著化情報が、
給餌情報（給餌の場所、時間など）、侵入者威嚇情報（警告光、警告振動、警告音発生場所、時間など）、臭い情報（監視対象の鶏などが嫌う、または、興奮する臭気など）、光情報（照明や屋内の照度、点滅、回転灯など）、開口部開閉情報（窓や換気扇の開閉など）、および、空調設定情報からなる群から選択される１つ以上のものである、
ことを特徴とする。
A monitoring method according to a thirty-fourth aspect of the present invention comprises:
The monitored event salience information is
The information is one or more selected from the group consisting of feeding information (e.g., feeding location and time), intruder scare information (e.g., warning light, warning vibration, warning sound location and time), odor information (e.g., odors that the monitored chickens dislike or are excited by), light information (e.g., lighting and indoor illuminance, flashing lights, rotating lights), opening/closing information (e.g., opening/closing of windows and ventilation fans), and air conditioning setting information.
It is characterized by:
また、第３５の発明による監視方法は、
前記移動監視装置が、前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生ステップをさらに有する（例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など）、
ことを特徴とする。
A monitoring method according to a thirty-fifth aspect of the present invention comprises:
The mobile monitoring device further includes a monitoring event conspicuous situation generating step for generating a situation of the monitoring event conspicuous information (e.g., a rotating light that generates light, a speaker that generates sound, a rod-shaped part that comes into contact with the chicken coop as it moves and generates vibrations and sound, a signal output part that starts feeding, a control signal output part that controls the output of lighting and sound, etc.).
It is characterized by:
また、第３６の発明による監視方法は、
前記移動監視装置が、赤外線カメラを用いて、赤外線画像を撮像する赤外線撮像ステップを、さらに有し、
前記移動監視装置が、前記赤外線画像を、前記サーバにさらに送信する送信ステップと、
前記サーバが前記赤外線画像をさらに受信する受信ステップと、
前記サーバが、前記監視事象が発生したとき、前記赤外線画像に基づき、監視事象の対象物（例えば、火事の煙、死んだ鶏）の温度を計測し、所定の温度と比較して（温度以下、温度以上など、）、監視事象の発生を確定する、確定ステップと、
をさらに有する、ことを特徴とする。
A monitoring method according to a thirty-sixth aspect of the present invention comprises:
The mobile monitoring device further includes an infrared imaging step of capturing an infrared image using an infrared camera,
a transmitting step in which the mobile monitoring device further transmits the infrared image to the server;
a receiving step in which the server further receives the infrared image;
A determination step in which the server measures the temperature of the object of the monitored event (e.g., smoke from a fire, a dead chicken) based on the infrared image when the monitored event occurs, and compares the temperature with a predetermined temperature (below a certain temperature, above a certain temperature, etc.) to determine the occurrence of the monitored event;
The present invention is characterized in that it further comprises:
また、上記の技法以外に、新たなに距離センサを用いた監視技法の発明を以下に挙げる。 In addition to the techniques mentioned above, the following inventions are new monitoring techniques that use distance sensors.
第３６の発明による監視装置は、
移動監視装置とサーバとを含む監視装置であって、
前記移動監視装置が、
画像を撮像する撮像部と、
距離情報を取得するセンサと、
前記移動監視装置の移動方向を定める識別情報（ガイドテープなど）を取得する取得部と、
前記識別情報に基づき自装置を移動させる駆動部と、
前記距離情報と前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
監視事象を示すモデル変化パターン情報を格納する記憶部と、
前記移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する通信部と、
前記モデル変化パターン情報と、前記距離情報の変化パターンとを比較して、監視事象（死亡、病気、座っている状態など）が発生しているか否かを監視する監視部と、
前記監視事象が発生したとき、（当該位置の画像と、当該位置とを含むことが好適である）警報を出力する出力部と、
を有する、
ことを特徴とする。
A monitoring device according to a thirty-sixth aspect of the present invention comprises:
A monitoring device including a mobile monitoring device and a server,
The mobile monitoring device,
An imaging unit that captures an image;
A sensor for acquiring distance information;
An acquisition unit that acquires identification information (such as a guide tape) that determines a moving direction of the movement monitoring device;
a driving unit that moves the device itself based on the identification information;
a communication unit that transmits monitoring information, including the distance information and the image, to the server via a wireless or wired communication means;
having
The server,
A storage unit for storing model change pattern information indicating a monitored event;
a communication unit that receives the monitoring information, including the distance information and the image, from the mobile monitoring device;
a monitoring unit that compares the model change pattern information with a change pattern of the distance information to monitor whether a monitoring event (death, illness, sitting state, etc.) has occurred;
an output unit that outputs an alarm (preferably including an image of the location and the location) when the monitored event occurs;
having
It is characterized by:
また、第３７の発明による監視装置は、
移動監視装置とサーバとを含む監視装置であって、
前記移動監視装置が、
画像を撮像する撮像部と、
距離情報を取得するセンサと、
前記移動監視装置の移動方向を定める識別情報（ガイドテープなど）を取得する取得部と、
前記識別情報に基づき自装置を移動させる駆動部と、
前記距離情報と前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
多数の距離の変化パターンを格納する記憶部と、
前記多数の距離の変化パターンと、該変化パターンの少なくとも一部に関連付けられた監視事象とに基づき学習されたＡＩエンジンと、
前記移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する通信部と、を有し、
前記ＡＩエンジンが、
前記距離情報の変化パターンに基づき、監視事象（死亡、病気、座っている状態など）が発生しているか否かを監視し、
前記サーバが、
前記監視事象が発生したとき、（当該位置の画像と、当該位置とを含むことが好適である）警報を出力する出力部、さらに有する、
ことを特徴とする。
A monitoring device according to a thirty-seventh aspect of the present invention comprises:
A monitoring device including a mobile monitoring device and a server,
The mobile monitoring device,
An imaging unit that captures an image;
A sensor for acquiring distance information;
An acquisition unit that acquires identification information (such as a guide tape) that determines a moving direction of the movement monitoring device;
a driving unit that moves the device itself based on the identification information;
a communication unit that transmits monitoring information, including the distance information and the image, to the server via a wireless or wired communication means;
having
The server,
A storage unit for storing a large number of distance change patterns;
an AI engine that is trained based on a pattern of changes in the plurality of distances and a monitored event associated with at least a portion of the pattern of changes;
a communication unit that receives the monitoring information, including the distance information and the image, from the mobile monitoring device;
The AI engine,
Based on the change pattern of the distance information, monitor whether a monitoring event (death, illness, sitting state, etc.) has occurred;
The server,
an output unit that outputs an alarm (preferably including an image of the location and the location) when the monitored event occurs;
It is characterized by:
また、第３８の発明による監視装置は、
移動監視装置とサーバとを含む監視装置であって、
前記移動監視装置が、
画像を撮像する撮像部と、
第１距離情報を取得する第１センサと、
第２距離情報を取得する第２センサと、
前記移動監視装置の移動方向を定める識別情報（ガイドテープなど）を取得する取得部と、
前記識別情報に基づき自装置を移動させる駆動部と、
前記第１距離情報と、前記第２距離情報と、前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
監視事象を示すモデル変化パターン情報を格納する記憶部と、
前記移動監視装置から、前記第１距離情報と、第２距離情報と、前記画像とを含む、前記監視情報を受信する通信部と、
前記第１距離情報と、第２距離情報の変化パターンとを比較して、各変化パターンから対象物（鶏など）の移動によって生じる成分を除外した除外変化パターンを生成するパターン生成部と、
前記モデル変化パターン情報と、前記除外変化パターンとを比較して、監視事象（死亡、病気、座っている状態など）が発生しているか否かを監視する監視部と、
前記監視事象が発生したとき、（当該位置の画像と、当該位置とを含むことが好適である）警報を出力する出力部と、
を有する、
ことを特徴とする。
A monitoring device according to a thirty-eighth aspect of the present invention comprises:
A monitoring device including a mobile monitoring device and a server,
The mobile monitoring device,
An imaging unit that captures an image;
a first sensor configured to obtain first distance information;
a second sensor configured to obtain second distance information;
An acquisition unit that acquires identification information (such as a guide tape) that determines a moving direction of the movement monitoring device;
a driving unit that moves the device itself based on the identification information;
a communication unit that transmits monitoring information, including the first distance information, the second distance information, and the image, to the server via a wireless or wired communication means;
having
The server,
A storage unit for storing model change pattern information indicating a monitored event;
a communication unit that receives the monitoring information from the mobile monitoring device, the monitoring information including the first distance information, the second distance information, and the image;
a pattern generating unit that compares the change patterns of the first distance information and the second distance information to generate an exclusion change pattern by excluding a component caused by a movement of an object (such as a chicken) from each change pattern;
a monitoring unit that compares the model change pattern information with the exclusion change pattern to monitor whether a monitoring event (death, illness, sitting state, etc.) has occurred;
an output unit that outputs an alarm (preferably including an image of the location and the location) when the monitored event occurs;
having
It is characterized by:
また、第３９の発明による監視プログラムは、
１つまたは複数の演算処理装置を第３７～３８のいずれかの発明に記載の監視装置として機能させる監視プログラムである。
A monitoring program according to a thirty-ninth aspect of the present invention comprises:
A monitoring program that causes one or more processors to function as the monitoring device according to any one of the thirty-seventh to thirty-eighth aspects of the present invention.
また、第４０の発明による記憶媒体は、
第３９の発明に記載の監視プログラムを格納したコンピュータ可読な記憶媒体である。
A storage medium according to a fortieth aspect of the present invention comprises:
A computer-readable storage medium storing the monitoring program according to the thirty-ninth aspect of the present invention.
本発明によれば、ＣＡＤ情報に基づき飛行ルートを設定するドローンを用いて監視作業をすることが可能となる。また、本発明によれば、移動監視装置を用いて、監視作業をすることが可能となる。 According to the present invention, it is possible to carry out surveillance work using a drone that sets a flight route based on CAD information. Also, according to the present invention, it is possible to carry out surveillance work using a mobile surveillance device.
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
＜実施態様１＞
図１は、本発明の一実施態様による監視装置の概要を示すブロック図である。図に示すように、監視装置ＭＯＳ１は、ドローンＤＲ１、ＤＲ２とサーバＳＶ１とを含むものである。サーバＳＶ１は、制御部（ＣＰＵ、演算処理装置、プロセッサ）ＣＯＮ、入力部ＩＮ、出力部ＯＵＴ、通信部ＣＯＭ、記憶部ＭＥＭ、および、表示部ＤＩＳを有する。ドローンＤＲ２、特に指摘しない限りドローンＤＲ１と同様の構成および機能を持つが、作図と説明の便宜上、一部の構成を省略してある。
<
FIG. 1 is a block diagram showing an overview of a monitoring device according to an embodiment of the present invention. As shown in the figure, the monitoring device MOS1 includes drones DR1 and DR2 and a server SV1. The server SV1 has a control unit (CPU, arithmetic processing unit, processor) CON, an input unit IN, an output unit OUT, a communication unit COM, a memory unit MEM, and a display unit DIS. The drone DR2 has the same configuration and function as the drone DR1 unless otherwise specified, but some components are omitted for convenience of drawing and explanation.
ドローンＤＲ１は、撮像部としてカメラＣＭ１～３、センサＳＮＳＲ（気圧計、ジャイロセンサなど）、制御部ＣＯＮ（ＣＰＵ、演算処理装置、プロセッサ）、通信部ＣＯＭ、監視部ＭＯＮ，出力部ＯＵＴ、記憶部ＳＴＲを有するが、さらに、入力部（図示せず）、および、表示部（図示せず）を有してもよい。カメラは、監視対象を撮影するものが２つと、天井などに設置した位置指標を撮影するもの１つを設けることが好適であるが、１つ、または、２つでその機能を兼ねてもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。さらに、カメラは赤外線を検知するものを別途設けたり、上記のものにその機能を搭載させたりして、監視対象の温度を検知して死んでいるか否かなどを検知してもよい。 Drone DR1 has cameras CM1-3 as an imaging unit, a sensor SNSR (barometer, gyro sensor, etc.), a control unit CON (CPU, arithmetic processing unit, processor), a communication unit COM, a monitoring unit MON, an output unit OUT, and a memory unit STR, and may further have an input unit (not shown) and a display unit (not shown). It is preferable to have two cameras to photograph the monitoring target and one to photograph a position indicator installed on the ceiling or the like, but one or two cameras may serve both functions. It is also preferable to use a high-performance model that can photograph with little environmental light even at night. Furthermore, the camera may be provided with a separate infrared detector or the above cameras may be equipped with this function to detect the temperature of the monitoring target and determine whether it is dead or not.
ドローンＤＲ１が、センサＳＮＳＲとして、自装置の位置を測定する位置測定部（図示せず、ＧＰＳなど）と、角速度を計測するジャイロセンサと、加速度を計測する加速度センサと、高度を計測する高度センサとを有する。 The drone DR1 has, as the sensor SNSR, a position measurement unit (not shown, such as a GPS) that measures the position of the drone itself, a gyro sensor that measures angular velocity, an acceleration sensor that measures acceleration, and an altitude sensor that measures altitude.
ドローンＤＲ１は、
飛行中に画像を撮像する撮像部（カメラＣＭ１～３）と、
飛行ルートと位置指標配置情報とを受信する通信部ＣＯＭと、
前記位置指標配置情報に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御する制御部ＣＯＮと、
前記画像に監視事象が発生しているか否かを監視する監視部ＭＯＮと、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力部ＯＵＴと、を有する。
The drone DR1 is
An imaging unit (cameras CM1 to CM3) that captures images during flight;
A communication unit COM that receives flight route and position index arrangement information;
A control unit CON that controls the flight of the device along the flight route while recognizing the position of the device based on the position index arrangement information;
a monitoring unit MON that monitors whether a monitoring event occurs in the image;
and an output unit OUT which, when a monitored event occurs, outputs (transmits) an alarm including the location where the monitored event occurred and an image at the time of occurrence to the server via the communication unit or other communication means.
サーバＳＶ１は、
建物のＣＡＤ情報と、位置指標配置情報と、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報と、を取得する取得部ＡＣＱと、
監視対象の設置物を監視するための前記建物内の前記ドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける、飛行ルート設定部ＦＬＳと、
監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定する監視事象設定部ＭＥＳと、
前記飛行ルートと、前記位置指標配置情報と、監視事象を前記ドローンに送信し、前記ドローンから、監視事象が発生した位置と、発生時の画像とを含む警報を受信する通信部ＣＯＭと、
を有する。
なお、出力される警報は、電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報などが好適である。
The server SV1 is
An acquisition unit ACQ that acquires CAD information of a building, position index arrangement information, and layout information of objects to be monitored that are arranged in the building (chicken cages, desks, chairs, equipment, etc.);
A flight route setting unit FLS that sets a flight route of the drone in the building to monitor an installation to be monitored or receives an input of the flight route;
A monitoring event setting unit MES for setting monitoring events (abnormal events, intruders, fires, deaths, specific actions, etc.) of the monitoring target;
a communication unit COM that transmits the flight route, the position indicator arrangement information, and a monitoring event to the drone, and receives an alert from the drone that includes a position where the monitoring event occurred and an image at the time of the occurrence;
has.
The alarm to be output is preferably an email, an audio alarm, an image, a warning to a security guard, a warning to a manager, or a report to a security company or the police.
ネットワークＮＥＴを介して接続された建物情報サーバまたは記憶部ＭＥＭなどから、監視対象の建物のＣＡＤ情報を取得してもよい。ＣＡＤ情報と、このＣＡＤ情報の空間座標系に対応した、または、対応させた、位置指標配置情報、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報から、飛行ルートが設定される。表示部ＤＩＳは、本装置に格納される情報や生成された情報を表示することができる。 CAD information of the building to be monitored may be acquired from a building information server or memory unit MEM connected via the network NET. A flight route is set from the CAD information, position index placement information that corresponds to or is made to correspond to the spatial coordinate system of the CAD information, and layout information of the objects to be monitored that are placed in the building (chicken cages, desks, chairs, equipment, etc.). The display unit DIS can display information stored in the device and information generated.
サーバＳＶ１の制御部に含まれる各機能部は、制御部のメモリ空間に読み込まれたプログラムモジュールによって実現することが好適である。また、ドローンは、制御部のメモリ空間に読み込まれたプログラムモジュールによって各機能部を実現したり、内蔵するＧＰＳユニットやカメラユニットなどで各機能部を実現したりすることが可能である。通常、サーバは、記憶部或いはウェブサイトから、プロセッサを本装置の各部として機能させるソフトウェアをダウンロードして、ＰＣにインストールして起動することで、ＰＣが、本装置として動作する。なお、制御部に設けた各機能部は、機能上一定のまとまりのあるステップを１つにまとめたものに過ぎず、複数の機能部を１つの機能部にしたり、その一部を他の機能部に組み入れたり、他の独立した機能部に分割したりすることが可能である。 It is preferable that each functional unit included in the control unit of server SV1 is realized by a program module loaded into the memory space of the control unit. Also, the drone can realize each functional unit by a program module loaded into the memory space of the control unit, or by a built-in GPS unit or camera unit. Usually, the server downloads software from a storage unit or a website that causes the processor to function as each unit of the device, and installs and starts the software on the PC, causing the PC to operate as the device. Note that each functional unit provided in the control unit is merely a set of steps that are functionally coherent, and it is possible to combine multiple functional units into one functional unit, incorporate part of it into another functional unit, or split it into other independent functional units.
このように、生成・抽出した情報や中間データおよび取得したデータを外部に送信したり、表示部に表示したり、生成・抽出した情報や中間データおよび取得したデータなどを記憶部に格納したりすることは、後述する他の実態態様でも同様に可能であることに注意されたい。なお、本装置は、汎用コンピュータ、特定用途コンピュータ、サーバ、ＰＣ、スマートフォンなどの携帯端末などのコンピュータ、或いは、本装置の機能や処理手順（方法）をコンピュータ上で実現（実行）するプログラムモジュールをコンピュータが持つＣＰＵや記憶部に保持したり、外部のサーバやストレージから読み込んだりすることで、コンピュータ上に本装置を構築することが好適であり、後続の各実施態様においても同様である。また、各機能部は、ネットワークで接続された別個のコンピュータや装置に分散させてもよい。また、複数の機能部を１つにしたり、処理ステップの一部を他の機能部にさせたりするような形態でもよい。さらに、本実施態様では、サーバとドローンを別個のものとして規定したが、ドローン内にサーバの各機能の一部または全てを含ませてもよい。 It should be noted that the generated/extracted information, intermediate data, and acquired data can be transmitted to the outside, displayed on the display unit, and stored in the storage unit in the other embodiments described below. It is preferable that the present device is constructed on a computer, such as a general-purpose computer, a specific-purpose computer, a server, a PC, or a mobile terminal such as a smartphone, or that a program module that realizes (executes) the functions and processing procedures (methods) of the present device on a computer is stored in the CPU or storage unit of the computer, or read from an external server or storage, and this is also the case in each of the subsequent embodiments. In addition, each functional unit may be distributed to a separate computer or device connected by a network. In addition, multiple functional units may be combined into one, or some of the processing steps may be assigned to other functional units. Furthermore, in this embodiment, the server and the drone are specified as separate entities, but some or all of the functions of the server may be included in the drone.
図２は、図１に示した監視装置で実行される処理の一例を示すフローチャートである。監視装置は、サーバＳＶ１とドローンＤＲ１の２つの装置が連携して処理を行う。他のサーバにある情報をサーバＳＶ１が一旦格納しておけば、他のサーバとの連携は不要とすることも可能である。 Figure 2 is a flow chart showing an example of processing executed by the monitoring device shown in Figure 1. The monitoring device performs processing in cooperation with two devices, a server SV1 and a drone DR1. If server SV1 temporarily stores information on other servers, it may be possible to eliminate the need for cooperation with other servers.
ステップＳ１１にて、建物のＣＡＤ情報を取得する。次にステップＳ１２にて、前記ＣＡＤ情報の空間座標系に対応した位置指標配置情報、および、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報を取得する。続いて、ステップＳ１３にて、監視対象の設置物を監視するための建物内のドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける。そして、ステップＳ１４にて、監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定（入力を受け付けてもよい）する。 In step S11, CAD information of the building is acquired. Next, in step S12, position index placement information corresponding to the spatial coordinate system of the CAD information and layout information of the installations to be monitored that are placed in the building (chicken cages, desks, chairs, equipment, etc.) are acquired. Next, in step S13, a flight route for the drone within the building to monitor the installations to be monitored is set, or input of the flight route is accepted. Then, in step S14, a monitoring event for the monitoring target (abnormal event, intruder, fire, death, specific action, etc.) is set (or input may be accepted).
そして、ステップＳ１５にて、位置指標で位置確認、および／または、ジャイロセンサおよび加速度センサ（またはＧＰＳ）を利用して位置確認しながら、ドローンを飛行ルートに沿って移動させる。この制御は、サーバ側で行ってもよいし、ドローン側で自律的に制御させてもよい。ステップＳ１６にて、カメラで監視対象を撮影する。ステップＳ１７にて、飛行ルートの終わりか否か、または、ドローンに搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、ドローン基地に帰還する。判定条件を満たさない場合は、ステップＳ１８に進む。 Then, in step S15, the drone is moved along the flight route while confirming its position using the position indicator and/or a gyro sensor and acceleration sensor (or GPS). This control may be performed on the server side, or the drone may be controlled autonomously. In step S16, the camera captures an image of the monitoring target. In step S17, it is determined whether the flight route has ended, or whether the battery installed in the drone is running low on power. If the determination conditions are met, the drone returns to the drone base. If the determination conditions are not met, the process proceeds to step S18.
ステップＳ１８にて、画像に異常イベント（監視事象）が発生しているか否かを判定する。異常イベントが発生していない場合は、ステップＳ１５に戻り、飛行を続ける。異常イベントが発生している場合は、そのまま警報を発してもよいが、誤認識を少なくさせるために、ステップＳ１８－１に進み、ドローンを空中停止（ホバリング）させるか、減速させて、当該異常イベントの画像の観察を続けることが好適である。そして、ステップＳ１８－２にて、異常イベントの発生が継続していると判定した場合に、ステップＳ１９にて、異常イベントの発生した位置、その時間の画像（映像を含む）を含む警報を出力する。ステップＳ１８－２にて、異常イベントの発生が継続していないと判定した場合は、誤認識であると判断し警報は出さずに、ステップＳ１５に戻り、飛行（監視）を続ける。ステップＳ１９にて警報を出した後は、ステップＳ２０に進み、ステップＳ１７と同様に、飛行ルートの終わりか否か、または、ドローンに搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、ドローン基地に帰還する。判定条件を満たさない場合は、ステップＳ１５に戻り、飛行（監視）を続ける。 In step S18, it is determined whether an abnormal event (monitoring event) has occurred in the image. If an abnormal event has not occurred, the process returns to step S15 and continues flying. If an abnormal event has occurred, an alarm may be issued, but in order to reduce false recognition, it is preferable to proceed to step S18-1, stop the drone in the air (hover) or decelerate it, and continue observing the image of the abnormal event. Then, if it is determined in step S18-2 that the occurrence of the abnormal event is continuing, an alarm including the position where the abnormal event occurred and the image (including video) at that time is output in step S19. If it is determined in step S18-2 that the occurrence of the abnormal event is not continuing, it is determined that the occurrence is a false recognition, and no alarm is issued, and the process returns to step S15 and continues flying (monitoring). After issuing an alarm in step S19, the process proceeds to step S20, and, as in step S17, it is determined whether the flight route has ended or not, or whether the remaining power of the battery installed in the drone is insufficient. If the determination condition is met, the drone returns to the drone base. If the judgment conditions are not met, return to step S15 and continue flying (monitoring).
ちなみに、撮像は、継続的に行ってもよいが、通信量や処理量を低減するために、フレームを間引きしたり、静止画を数秒間隔で実施したりすることが好適である。 Incidentally, while image capture can be performed continuously, it is preferable to thin out frames or capture still images at intervals of a few seconds to reduce communication and processing volume.
格納ステップは、一回実施しておけば、その情報が変更されるまでは再実施する必要はない。或いは、格納ステップは、当該情報を格納したＲＯＭやフラッシュメモリを装置やコンピュータに搭載することで不要となる。 Once the storage step is performed, it does not need to be performed again until the information is changed. Alternatively, the storage step can be made unnecessary by installing a ROM or flash memory that stores the information in the device or computer.
図３は、本装置のドローンの監視技法を説明する模式図である。図に示すように、建物ＢＬＤの天井に設置された位置指標ＰＩ１～４をカメラＣＭ３で撮影して、当該指標に基づき、自装置の位置を認識する。位置指標は、位置指標配置情報の座標に配置されており、ドローンＤＲ１は、位置指標で自装置の位置を認識しながら、飛行ルートＦＲ１に沿って、位置指標ＰＩ１～４を順次認識していきながら、自装置の飛行を制御する。位置指標は、蛍光部材や文字、図形、模様、色彩などのいずれか１つ以上を施したものが好適であり、天井に向けたカメラＣＭ３で撮影して、位置指標を画像認識することが好適である。位置指標は、それぞれ固有のものであり、個別に認識することで、位置指標配置情報ＬＩＬＩを参照することで、どの位置にドローンが位置にするかが判明する仕組みになっている。或いは、位置指標は、特定の無線や光の信号を出す装置、WIFI基地局、無線タグでもよい（この場合は、カメラに代えて、無線通信部、光受信部などで信号を読み取る。）。また、位置指標に代えて室内用のＧＰＳ信号ユニットを設けて、これをドローンで読み取る装置で対応することも可能である。 Figure 3 is a schematic diagram explaining the drone monitoring technique of the present device. As shown in the figure, the position indicators PI1 to 4 installed on the ceiling of the building BLD are photographed by the camera CM3, and the position of the device is recognized based on the indicators. The position indicators are arranged at the coordinates of the position indicator arrangement information, and the drone DR1 controls the flight of the device while recognizing the position of the device by the position indicators and sequentially recognizing the position indicators PI1 to 4 along the flight route FR1. The position indicators are preferably one or more of fluorescent materials, letters, figures, patterns, colors, etc., and are preferably photographed by the camera CM3 facing the ceiling and the position indicators are image-recognized. Each position indicator is unique, and by individually recognizing them, it is possible to determine where the drone is located by referring to the position indicator arrangement information LILI. Alternatively, the position indicator may be a device that emits a specific radio or optical signal, a WIFI base station, or a wireless tag (in this case, the signal is read by a wireless communication unit, optical receiving unit, etc. instead of a camera). It is also possible to use an indoor GPS signal unit instead of a location indicator and have the drone read this.
そして、ドローンは、飛行しながら、カメラＣＭ１、ＣＭ２で、左右の監視対象の棚ＳＢＪ１，ＳＢＪ２（建物ＢＬＤに設置されている）を撮影し、そこで、監視事象が発生しているか否かを監視する。 Then, while flying, the drone uses cameras CM1 and CM2 to capture images of the left and right monitored shelves SBJ1 and SBJ2 (installed in building BLD) and monitors whether a monitoring event is occurring.
図４は、本装置のドローンの監視技法を説明する模式図である。図に示すように、図４は、図３の建物ＢＬＤを上方（天井）から俯瞰した模式図である。ドローンＤＲ１は、位置指標（図４で図示せず）で自装置の位置を認識しながら、飛行ルートＦＲ１に沿って、位置指標ＰＩ１～４を順次認識していきながら、自装置の飛行を制御する。そして、ドローンＤＲ１は、飛行しながら、カメラＣＭ１、ＣＭ２で、左右の監視対象の棚ＳＢＪ１，ＳＢＪ２（建物ＢＬＤに設置されている）を撮影し、そこで、監視事象（異常イベント）が発生しているか否かを監視する。この例では、カメラＣＭ１が、監視対象ＳＢＪ１の棚ＳＨＬＦ１で異常イベントＯＡＢＥを認識し、警報（異常発生のリポート）を発する。 Figure 4 is a schematic diagram explaining the monitoring technique of the drone of this device. As shown in the figure, Figure 4 is a schematic diagram of the building BLD of Figure 3 viewed from above (ceiling). Drone DR1 recognizes its own position using a position indicator (not shown in Figure 4) and controls the flight of its own device while sequentially recognizing position indicators PI1 to PI4 along flight route FR1. While flying, drone DR1 uses cameras CM1 and CM2 to capture images of shelves SBJ1 and SBJ2 (installed in the building BLD) on the left and right, which are targets of monitoring, and monitors whether a monitoring event (abnormal event) has occurred there. In this example, camera CM1 recognizes an abnormal event OABE on shelf SHLF1 of monitoring target SBJ1 and issues an alarm (report of an abnormality).
図５は、本装置における取得部の機能を説明する模式図である。図に示すように、本装置は、建物のＣＡＤ情報ＣＩを取得する。このＣＡＤ情報は、３次元ＣＡＤであり、建物内の部材や壁、天井、床などは、３次元の空間座標を持つ。また、本装置は、建物のＣＡＤ情報ＣＩの空間座標系に対応した、建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報ＳＬＩを取得する。ＣＡＤ情報ＣＩに、レイアウト情報ＳＬＩを組み込む（マージ）。そして、本装置は、建物のＣＡＤ情報ＣＩの空間座標系に対応した、位置指標配置情報ＰＩ１～４を取得し、これも図の下段に示すように、ＣＡＤ情報ＣＩに、位置指標配置情報ＰＩ１～４を組み込む（マージ）。結果として、建物に、位置指標、設置物が配置された建物内部構造が全て記述されたＣＡＤ情報ＣＩＡＬＬを得られる。本装置は、このＣＡＤ情報ＣＩＡＬＬに、飛行ルートを設定するが、次の図でこれを説明する。 Figure 5 is a schematic diagram explaining the function of the acquisition unit in this device. As shown in the figure, this device acquires CAD information CI of a building. This CAD information is three-dimensional CAD, and the building's internal components, walls, ceilings, floors, etc. have three-dimensional spatial coordinates. This device also acquires layout information SLI of the objects to be monitored (chicken cages, desks, chairs, equipment, etc.) arranged in the building, which corresponds to the spatial coordinate system of the CAD information CI of the building. The layout information SLI is incorporated (merged) into the CAD information CI. Then, this device acquires position index arrangement information PI1 to 4 corresponding to the spatial coordinate system of the CAD information CI of the building, and as shown in the lower part of the figure, the position index arrangement information PI1 to 4 is incorporated (merged) into the CAD information CI. As a result, CAD information CIALL is obtained, which describes the entire internal structure of the building, including the position indexes and objects arranged in the building. This device sets a flight route in this CAD information CIALL, which will be explained in the next figure.
図６は、本装置における飛行ルート設定の機能を説明する模式図である。図に示すように、ドローン基地ＤＢの位置も記述されたＣＡＤ情報ＣＩＡＬＬに、レイアウト情報ＳＬＩに対応して配置された設置物である監視対象ＳＢＪ１，ＳＢＪ２があり、その間に通路（飛行に適した空間）があるものとする。本装置は、飛行ルートは、監視対象を監視可能であって、所定の広さの空間に設定するといったルート設定ルール（記憶部に格納される）に基づき、飛行ルートＦＲ１を自動設定する（手動で設定も可能である）。同様に、監視対象ＳＢＪ３，ＳＢＪ４があり、その間に通路（飛行に適した空間）があるものとする。本装置は、人が通れる程度の空間を通路と認識する機能を持つ。飛行ルートは、監視対象を監視可能であって、所定の広さの空間であって、所定の高さ（通常は、平均身長の目線程度の高さ１６０ｃｍ）に設定するといったルート設定ルール（記憶部に格納される）に基づき、飛行ルートＦＲ２も自動設定する（手動で受け付けて設定も可能）。図のように、飛行ルートＦＲ１，ＦＲ２のように設定した場合は、飛行ルートの順番をＦＲ１が先でＦＲ２が後といったように設定する。或いは、飛行ルートを全て連結して１つの飛行ルートを設定してもよい。 Figure 6 is a schematic diagram explaining the function of flight route setting in this device. As shown in the figure, the CAD information CIALL, which also describes the position of the drone base DB, includes monitoring targets SBJ1 and SBJ2, which are installations arranged corresponding to the layout information SLI, and there is an aisle (space suitable for flight) between them. This device automatically sets flight route FR1 based on route setting rules (stored in the memory unit) such that the flight route is set in a space of a predetermined size where the monitoring targets can be monitored (it can also be set manually). Similarly, there are monitoring targets SBJ3 and SBJ4, and there is an aisle (space suitable for flight) between them. This device has the function of recognizing a space large enough for a person to pass through as an aisle. The flight route is automatically set (it can also be set manually) based on route setting rules (stored in the memory unit) such that the monitoring targets can be monitored, the space is of a predetermined size, and the flight route is set at a predetermined height (usually 160 cm, which is about the eye level of the average height). As shown in the figure, if flight routes FR1 and FR2 are set, the order of the flight routes is set so that FR1 comes first and FR2 comes second. Alternatively, all flight routes may be linked together to set a single flight route.
この例では、監視対象は、１段の鶏舎を想定してあるが、２，３段の場合は、平面的には同じ座標の飛行ルートであるが、高度を順次変えた別の飛行ルートを設定して、２段目、３段目などを監視させることが可能である（詳細は図８で説明する）。 In this example, the object to be monitored is assumed to be a chicken coop with one level, but in the case of two or three levels, the flight route will be the same coordinates in plan, but it is possible to set a different flight route with successively changing altitudes to monitor the second, third, etc. levels (details will be explained in Figure 8).
図７は、異常イベント（監視事象）設定インターフェイスを示す図である。監視事象は、良い兆候の事象（例えば、見込み客の入場など）でもよいが、この例では、鶏舎において、異常イベントを設定する例を示す。図に示すように、常イベント（監視事象）設定インターフェイスＡＢＥ－ＩＮには、予め選択肢として、
異常イベントＡＢＥ１：不動（病気、衰弱死、死亡）
異常イベントＡＢＥ２：異常行動
異常イベントＡＢＥ３：攻撃
異常イベントＡＢＥ５：餌を食べない
異常イベントＡＢＥ６：侵入者（小動物）
異常イベントＡＢＥ６：侵入者（人間）
異常イベントＡＢＥ７：火事(煙、温度検知など)
などが選択可能なウィンドウ（区画）として表示され、これが表示部ＤＩＳに表示されている。
7 is a diagram showing an abnormal event (monitoring event) setting interface. The monitoring event may be a positive event (such as the entry of a potential customer), but in this example, an abnormal event is set in a chicken coop. As shown in the figure, the normal event (monitoring event) setting interface ABE-IN has the following options in advance:
Abnormal event ABE1: Immobility (disease, exhaustion, death)
Abnormal event ABE2: Abnormal behavior Abnormal event ABE3: Attack Abnormal event ABE5: Not eating food Abnormal event ABE6: Intruder (small animal)
Abnormal Event ABE6: Intruder (Human)
Abnormal event ABE7: Fire (smoke, temperature detection, etc.)
These are displayed as selectable windows (partitions) on the display unit DIS.
ユーザは、この選択肢から、監視すべき異常イベント（複数選択可能）のウィンドウを選択し、異常イベントを設定する。これは、図のように、選定済みの異常イベントＡＢＥ－ＳＥＴのウィンドウに記述される。この例では、
異常イベントＡＢＥ１：不動（病気、衰弱死、死亡）
異常イベントＡＢＥ７：火事(煙、温度検知など)
が設定されている。
From this selection, the user selects the window of the abnormal event to be monitored (multiple selections are possible) and sets the abnormal event. This is written in the window of the selected abnormal event ABE-SET, as shown in the figure. In this example,
Abnormal event ABE1: Immobility (disease, exhaustion, death)
Abnormal event ABE7: Fire (smoke, temperature detection, etc.)
is set.
図８は、本装置における飛行ルート設定の機能のうち高さ方向の設定機能について説明する模式図である。図に示すように、１段目の棚ＳＨＬＦ－１Ｆ，２段目の棚ＳＨＬＦ－２Ｆ，３段目の棚ＳＨＬＦ－３Ｆといった３段構成の鶏舎ケージを監視対象とする場合には、各棚を監視し得る高度に、ドローンの飛行ルートが自動的に設定される。飛行ルートＦＲ１－Ｖは、１段目の棚ＳＨＬＦ－１Ｆを監視し得る高度１ｍで図の左から右に進み、右端から高度２ｍに上昇し、２段目の棚ＳＨＬＦ－２Ｆを右から左端までカメラで監視する。そして、最後に、３段目の棚ＳＨＬＦ－３Ｆを監視するために、高度３ｍに上昇し、図の左から右に進み終了する。この高度設定は、ＣＡＤ情報にある設置物や建物の通路などの寸法情報（座標情報）に基づき、自動的に設定される（例えば、高さ１．５ｍの棚などの設置物の場合は、その２／３の高さの１ｍに設定されるようなルールが規定され、このルールを適用する。）。高度は、気圧センサで計測した気圧から高度に換算して、それに基づき、ドローンが設定された高度を維持して、飛行ルートに沿って飛行することが可能である。 Figure 8 is a schematic diagram explaining the height direction setting function of the flight route setting function of this device. As shown in the figure, when a chicken cage with three shelves, such as the first shelf SHLF-1F, the second shelf SHLF-2F, and the third shelf SHLF-3F, is to be monitored, the drone's flight route is automatically set to an altitude at which each shelf can be monitored. Flight route FR1-V proceeds from left to right in the figure at an altitude of 1m at which the first shelf SHLF-1F can be monitored, rises to an altitude of 2m from the right end, and monitors the second shelf SHLF-2F from the right to the left end with a camera. Then, finally, in order to monitor the third shelf SHLF-3F, it rises to an altitude of 3m and proceeds from left to right in the figure to finish. This altitude setting is automatically set based on dimensional information (coordinate information) of installations and building passageways in the CAD information (for example, for an installation such as a shelf that is 1.5 m high, a rule is defined that sets the altitude at 2/3 of that height, or 1 m, and this rule is applied). The altitude is converted from the air pressure measured by the air pressure sensor, and based on this, the drone can maintain the set altitude and fly along the flight route.
図９は、本発明の一実施態様による監視装置の概要を示すブロック図である。この実施例は、図１の監視装置と指摘や言及が無い限る同様の機能と構成を持つ。図１と図９のそれで大きく異なるのは、本実施態様では、監視事象顕著化情報を使用する点と、ドローンＤＲ５が、自律的に飛行する機能を持ち、警報を発する機能をさらに持つ点である。以下、詳細に説明していく。 Figure 9 is a block diagram showing an overview of a monitoring device according to one embodiment of the present invention. This embodiment has the same functions and configuration as the monitoring device in Figure 1 unless otherwise indicated or mentioned. The main differences between Figure 1 and Figure 9 are that this embodiment uses monitoring event salience information and that drone DR5 has the ability to fly autonomously and also has the ability to issue alarms. A detailed explanation is provided below.
図に示すように、監視装置ＭＯＳ２は、ドローンＤＲ５、ＤＲ６とサーバＳＶ２とを含むものである。サーバＳＶ２は、制御部（ＣＰＵ、演算処理装置、プロセッサ）ＣＯＮ、入力部ＩＮ、出力部ＯＵＴ、通信部ＣＯＭ、記憶部ＭＥＭ、および、表示部ＤＩＳを有する。ドローンＤＲ６、特に指摘しない限りドローンＤＲ５と同様の構成および機能を持つが、作図と説明の便宜上、一部の構成を省略してある。 As shown in the figure, the monitoring device MOS2 includes drones DR5 and DR6 and a server SV2. The server SV2 has a control unit (CPU, arithmetic processing unit, processor) CON, an input unit IN, an output unit OUT, a communication unit COM, a memory unit MEM, and a display unit DIS. Unless otherwise noted, drone DR6 has the same configuration and functions as drone DR5, but for ease of illustration and explanation, some components have been omitted.
ドローンＤＲ５は、撮像部としてカメラＣＭ１～３、センサＳＮＳＲ（気圧計、ジャイロセンサなど）、制御部ＣＯＮ（ＣＰＵ、演算処理装置、プロセッサ）、通信部ＣＯＭ、監視部ＭＯＮ，出力部ＯＵＴ、記憶部ＳＴＲを有するが、さらに、入力部（図示せず）、および、表示部（図示せず）を有してもよい。カメラは、監視対象を撮影するものが２つと、天井などに設置した位置指標を撮影するもの１つを設けることが好適であるが、１つ、または、２つでその機能を兼ねてもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。さらに、カメラは赤外線を検知するものを別途設けたり、上記のものにその機能を搭載させたりして、監視対象の温度を検知して死んでいるか否かなどを検知してもよい。 The drone DR5 has cameras CM1-3 as an imaging unit, a sensor SNSR (barometer, gyro sensor, etc.), a control unit CON (CPU, arithmetic processing unit, processor), a communication unit COM, a monitoring unit MON, an output unit OUT, and a memory unit STR, and may further have an input unit (not shown) and a display unit (not shown). It is preferable to have two cameras to photograph the monitoring target and one to photograph a position indicator installed on the ceiling or the like, but one or two cameras may serve both functions. It is also preferable to use a high-performance model that can photograph with little environmental light even at night. Furthermore, the camera may be provided with a separate infrared detector or the above cameras may be equipped with this function to detect the temperature of the monitoring target and determine whether it is dead or not.
ドローンＤＲ５が、センサＳＮＳＲとして、自装置の位置を測定する位置測定部（図示せず、ＧＰＳなど）と、角速度を計測するジャイロセンサと、加速度を計測する加速度センサと、高度を計測する高度センサ（気圧計など）とを有する。 The drone DR5 has, as the sensor SNSR, a position measurement unit (not shown, such as a GPS) that measures the position of the drone itself, a gyro sensor that measures angular velocity, an acceleration sensor that measures acceleration, and an altitude sensor (such as a barometer) that measures altitude.
ドローンＤＲ５は、
各種のセンサＳＮＳＲとして、
角速度を計測するジャイロセンサと、
加速度を計測する加速度センサと、
高度を計測する高度センサと、
を有する。
The drone DR5 is
As various sensors SNSR,
A gyro sensor that measures angular velocity;
an acceleration sensor that measures acceleration;
an altitude sensor for measuring altitude;
has.
また、ドローンＤＲ５は、
飛行中に画像を撮像する撮像部（カメラＣＭ１～３）と、
飛行ルートと、位置指標配置情報と、監視事象顕著化情報（給餌情報（給餌の場所、時間など）、侵入者威嚇情報（警告音発生場所、時間など）など）と、を受信する通信部ＣＯＭと、
前記位置指標配置情報、に基づき、自装置の位置を認識しながら、さらに前記監視事象顕著化情報にも基づき、前記飛行ルートに沿って、自装置の飛行を制御する制御部ＣＯＮと、
前記画像に監視事象が発生しているか否かを監視する監視部ＭＯＮと、
監視事象が発生したとき、該監視事象が発生した位置と、発生時の画像とを含む警報を前記通信部または他の通信手段を介して、前記サーバに出力（送信）する出力部ＯＵＴと、
を有する。
In addition, the drone DR5 is
An imaging unit (cameras CM1 to CM3) that captures images during flight;
A communication unit COM that receives flight routes, position indicator arrangement information, and monitored event salience information (feeding information (e.g., feeding location and time), intruder intimidation information (e.g., warning sound generation location and time), etc.)
A control unit CON that recognizes the position of the device based on the position index arrangement information and controls the flight of the device along the flight route based on the monitoring event salience information;
a monitoring unit MON that monitors whether a monitoring event occurs in the image;
an output unit OUT that, when a monitored event occurs, outputs (transmits) an alarm including a position where the monitored event occurred and an image at the time of the occurrence to the server via the communication unit or other communication means;
has.
制御部は、前記位置指標配置情報、前記角速度、前記加速度、前記高度、に基づき、自装置の位置を認識しながら、前記飛行ルートに沿って、自装置の飛行を制御することも可能である。 The control unit can also control the flight of the device along the flight route while recognizing the device's position based on the position index placement information, the angular velocity, the acceleration, and the altitude.
監視事象顕著化情報は、例えば、鶏舎監視の場合には、自動給餌サーバＡＦＳなどからネットワーク（ＬＡＮ、インターネットなど）を介して取得する。これは、鶏は通常は眠っていて、監視事象である不動状態であるため、誤作動が起こり易い。しかし、給餌されると健康な鶏は、一斉に餌を食べるために動き出し、他方、病気や死亡した鶏は、不動のままであるという、習性を利用して、監視事象を顕著化させ、誤警報を低減、防止させるものである。即ち、監視飛行のタイミングと、給餌の時間とを同期させることにより、効率良く、誤警報なく監視をすることが可能となる。 In the case of chicken coop monitoring, for example, monitoring event salience information is obtained from the automatic feeding server AFS or the like via a network (LAN, Internet, etc.). This is because chickens are normally asleep and in an immobile state, which is a monitoring event, making them prone to malfunction. However, when fed, healthy chickens all move out at once to eat the food, while sick or dead chickens remain immobile. This behavior is utilized to make the monitoring event salient and reduce and prevent false alarms. In other words, by synchronizing the timing of the monitoring flight with the feeding time, monitoring can be carried out efficiently without false alarms.
図１０は、図９に示した監視装置で実行される処理の一例を示すフローチャートである。監視装置は、サーバＳＶ２とドローンＤＲ５の２つの装置が連携して処理を行う。他のサーバにある情報をサーバＳＶ２が一旦格納しておけば、他のサーバとの連携は不要とすることも可能である。 Figure 10 is a flow chart showing an example of processing executed by the monitoring device shown in Figure 9. The monitoring device performs processing in cooperation with two devices, server SV2 and drone DR5. If server SV2 temporarily stores information on other servers, it may be possible to eliminate the need for cooperation with other servers.
ステップＳ２１にて、建物のＣＡＤ情報を取得する。次にステップＳ２２にて、前記ＣＡＤ情報の空間座標系に対応した位置指標配置情報、および、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報を取得する。続いて、ステップＳ２２－１にて、監視事象顕著化要因情報（例えば、給餌情報）を取得する。取得は、通信部を介して取得することが好適である。そして、ステップＳ２３にて、監視対象の設置物を監視するための建物内のドローンの飛行ルートを設定する、或いは、前記飛行ルートの入力を受け付ける。飛行ルートの設定は、ＣＡＤ情報や位置指標配置情報、レイアウト情報を使用するが、その後、監視事象顕著化要因情報をさらに利用して、飛行タイミングやルートの調整をすることが好適である。そして、ステップＳ２４にて、監視対象の監視事象（異常イベント、侵入者、火事、死亡、特定動作、など）を設定（入力を受け付けてもよい）する。 In step S21, CAD information of the building is acquired. Next, in step S22, position index arrangement information corresponding to the spatial coordinate system of the CAD information and layout information of the monitored objects (chicken cages, desks, chairs, equipment, etc.) arranged in the building are acquired. Next, in step S22-1, monitored event salience factor information (e.g., feeding information) is acquired. The acquisition is preferably performed via a communication unit. Then, in step S23, a flight route of the drone in the building for monitoring the monitored objects is set, or an input of the flight route is accepted. The flight route is set using CAD information, position index arrangement information, and layout information, but it is preferable to further use the monitored event salience factor information to adjust the flight timing and route. Then, in step S24, a monitored event (an abnormal event, an intruder, a fire, a death, a specific action, etc.) of the monitored object is set (or an input may be accepted).
そして、ステップＳ２５にて、位置指標で位置確認、および／または、ジャイロセンサおよび加速度センサ（またはＧＰＳ）を利用して位置確認しながら、ドローンを飛行ルートに沿って移動させる。この制御は、サーバ側で行ってもよいし、ドローン側で自律的に制御させてもよい。ステップＳ２６にて、カメラで監視対象を撮影する。ステップＳ２７にて、飛行ルートの終わりか否か、または、ドローンに搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、ドローン基地に帰還する。判定条件を満たさない場合は、ステップＳ１８に進む。 Then, in step S25, the drone is moved along the flight route while confirming its position using the position indicator and/or a gyro sensor and acceleration sensor (or GPS). This control may be performed on the server side, or the drone may be controlled autonomously. In step S26, the camera captures an image of the monitoring target. In step S27, it is determined whether the flight route has ended, or whether the battery installed in the drone is running low on power. If the determination conditions are met, the drone returns to the drone base. If the determination conditions are not met, the process proceeds to step S18.
ステップＳ２８にて、画像に異常イベント（監視事象）が発生しているか否かを判定する。異常イベントが発生していない場合は、ステップＳ２５に戻り、飛行を続ける。異常イベントが発生している場合は、そのまま警報を発してもよいが、誤認識を少なくさせるために、ドローンを空中停止（ホバリング）させるか、減速させて、当該異常イベントの画像の観察を続けることが好適である。そして、ステップＳ２９にて、監視事象（異常イベント）の発生した位置、その時間の画像（映像を含む）を含む警報をドローン側から出力する（これは一旦サーバに送信し、サーバから警報を出してもよい）。警報を出した後は、ステップＳ３０に進み、ステップＳ２７と同様に、飛行ルートの終わりか否か、または、ドローンに搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、ドローン基地に帰還する。判定条件を満たさない場合は、ステップＳ２５に戻り、飛行（監視）を続ける。 In step S28, it is determined whether an abnormal event (monitoring event) has occurred in the image. If an abnormal event has not occurred, the process returns to step S25 and continues flying. If an abnormal event has occurred, an alarm may be issued, but in order to reduce false recognition, it is preferable to have the drone stop (hover) in the air or slow down and continue observing the image of the abnormal event. Then, in step S29, an alarm including the location where the monitoring event (abnormal event) occurred and the image (including video) at that time is output from the drone (this may be sent to a server once and the server may issue an alarm). After issuing the alarm, the process proceeds to step S30, and, as in step S27, it is determined whether the flight route has ended or not, or whether the remaining power of the battery installed in the drone is insufficient. If the judgment condition is met, the drone returns to the drone base. If the judgment condition is not met, the process returns to step S25 and continues flying (monitoring).
図１１は、監視の技法について説明する模式図である。鶏舎の監視の例で説明する。図に示すように、カメラが捉えた画面インターフェイスＳＬ１には、鶏ＢＤ１～７までが存在する。本装置は、鶏の頭部のトサカ、嘴などを図形、色彩、模様などで認識するロジックがあり、画面内に撮影された鶏の個体を全て捕捉する。そして、各個体の動作を観察し、動きのない個体を抽出する。画面インターフェイスＳＬ２の鶏ＢＤ４，７が動きのない鶏である。そして、所定の時間以上動きがない鶏を監視事象、即ち、異常イベント（死亡、病気、または衰弱）と確定する。画面インターフェイスＳＬ３の鶏ＢＤ４が異常イベントと確定した鶏であり、この時点（或いはドローンベースに帰還時に）で警報を発する。また、鶏の場合は、体を羽で覆われているため、通常の方法では、体温を外部からは計測しにくい。しかし、トサカ部分は、羽がなく、すぐ下を血管が通っており、この部分の温度を赤外線カメラや、通常のカメラの赤外線機能などで温度計測することで、体温を容易に計測可能であり、当該鶏が死亡しているか否かを確実に判定することが可能である。本装置は、既知の画像認識技法で、注目領域としてトサカを捕捉し、さらに、そのトサカの温度計測により、異常事象の確定をより精度高く実施することが可能である。 Figure 11 is a schematic diagram explaining the monitoring technique. An example of monitoring a chicken coop will be explained. As shown in the figure, chickens BD1 to BD7 are present on the screen interface SL1 captured by the camera. This device has logic to recognize the combs and beaks of chickens by shapes, colors, patterns, etc., and captures all chickens photographed on the screen. Then, the movement of each individual is observed and the ones that are not moving are extracted. Chickens BD4 and BD7 on the screen interface SL2 are not moving. Then, chickens that are not moving for a predetermined period of time are determined to be monitoring events, that is, abnormal events (death, illness, or weakness). Chicken BD4 on the screen interface SL3 is a chicken that has been determined to be an abnormal event, and an alarm is issued at this point (or when the drone returns to the base). In addition, in the case of chickens, since their bodies are covered with feathers, it is difficult to measure their body temperature from the outside using normal methods. However, the comb has no feathers and blood vessels run just below it, so by measuring the temperature in this area with an infrared camera or the infrared function of a regular camera, it is possible to easily measure body temperature and reliably determine whether the chicken is dead or not. This device uses known image recognition techniques to capture the comb as an area of interest, and by measuring the temperature of the comb, it is possible to more accurately determine whether an abnormal event has occurred.
図１２は、マップ状の警報情報を説明する模式図である。ドローンから送信（出力）されるのは、監視事象発生の画像・映像と、当該地点の座標である。これでは、警報を受けた係員には、状況を把握しづらいため、本装置は、当該、監視事象（異常イベント）発生の建物ＢＬＤ１、２の、異常イベント発生ポイントＯＡＢＥ１～３、さらには、その詳細情報「異常イベントが発生（３段目）、ケージ番号A101BR031」などが表示されたマップ状の警報情報ＷＲＮ１を出す。この警報は、ＣＡＤ情報を平面化して、異常イベント発生ポイントを表示させたものである。作業員は、警告情報に基づき、当該ケージを確認し、所定の作業（この例では、死亡または弱った個体（鶏）を除去する作業）を行う。 Figure 12 is a schematic diagram explaining map-like alarm information. Images and videos of the monitoring event and the coordinates of the location are transmitted (output) from the drone. This makes it difficult for the staff who receive the alarm to understand the situation, so the device issues map-like alarm information WRN1 that displays the abnormal event occurrence points OABE1-3 of the buildings BLD1 and 2 where the monitoring event (abnormal event) occurred, as well as detailed information such as "Abnormal event occurred (third row), cage number A101BR031." This alarm is created by flattening CAD information to display the abnormal event occurrence points. Based on the alarm information, the staff checks the cage and performs the prescribed work (in this example, removing dead or weakened individuals (chickens)).
図１３は、マップ状の警報情報を説明する模式図である。マップ状の警報情報ＷＲＮ１は、平面図であるが、鶏舎などでは縦方向に幾つかのケージ棚があり、平面ではどの高さのケージ棚か不明である。それに対応したのが図１３のマップ状の警報情報ＷＲＮ２である。これは、図１２のマップを見て、異常イベントの発生地点に作業員が辿り付いた後、図１３のマップを見て、縦方向のどの高さの棚に異常が発生したのかを理解させる目的で使用される。 Figure 13 is a schematic diagram explaining map-like alarm information. Map-like alarm information WRN1 is a plan view, but in a chicken coop or the like, there are several cage shelves in the vertical direction, and it is unclear at what height the cage shelves are in the plan view. Map-like alarm information WRN2 in Figure 13 corresponds to this. This is used for the purpose of allowing an operator to look at the map in Figure 12, reach the point where an abnormal event has occurred, and then look at the map in Figure 13 to understand at what vertical height of the shelf the abnormality has occurred.
＜実施態様２＞
図１４は、本発明の一実施態様による監視装置の概要を示すブロック図である。図に示すように、監視装置ＭＯＳ３は、移動監視装置ＭＭ１、ＭＭ２とサーバＳＶ３とを含むものである。サーバＳＶ３は、制御部（ＣＰＵ、演算処理装置、プロセッサ）ＣＯＮ、入力部ＩＮ、出力部ＯＵＴ、通信部ＣＯＭ、記憶部ＭＥＭ、および、表示部ＤＩＳを有する。移動監視装置ＭＭ１２は、特に指摘しない限り移動監視装置ＭＭ１と同様の構成および機能を持つが、作図と説明の便宜上、一部の構成を省略してある。
<Embodiment 2>
Fig. 14 is a block diagram showing an overview of a monitoring device according to an embodiment of the present invention. As shown in the figure, the monitoring device MOS3 includes mobile monitoring devices MM1 and MM2 and a server SV3. The server SV3 has a control unit (CPU, arithmetic processing unit, processor) CON, an input unit IN, an output unit OUT, a communication unit COM, a memory unit MEM, and a display unit DIS. The mobile monitoring device MM12 has the same configuration and functions as the mobile monitoring device MM1 unless otherwise specified, but some components are omitted for convenience of drawing and explanation.
移動監視装置ＭＭ１は、撮像部としてカメラＣＭ１～３、センサＳＮＳＲ（気圧計、ジャイロセンサなど）、制御部ＣＯＮ（ＣＰＵ、演算処理装置、プロセッサ）、通信部ＣＯＭ、監視部ＭＯＮ（本機能は、サーバ側に設けてもよい）、出力部ＯＵＴ、記憶部ＳＴＲを有するが、さらに、入力部（図示せず）、および、表示部（図示せず）を有してもよい。カメラは、鶏舎などの監視対象を撮影するものが２つと、天井や床などに設置した位置指標（点状のマーカーやライン状のものなど）を撮影するもの１つを設けることが好適であるが、１つ、または、２つでその機能を兼ねてもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。さらに、カメラは赤外線を検知するものを別途設けたり、上記のものにその機能を搭載させたりして、監視対象の温度を検知して、対象の状態、例えば、死んでいるか、病気であるか否かなどを検知してもよい。 The mobile monitoring device MM1 has cameras CM1-3 as an imaging unit, a sensor SNSR (barometer, gyro sensor, etc.), a control unit CON (CPU, arithmetic processing unit, processor), a communication unit COM, a monitoring unit MON (this function may be provided on the server side), an output unit OUT, and a memory unit STR, but may also have an input unit (not shown) and a display unit (not shown). It is preferable to have two cameras to photograph the monitoring target such as a chicken coop and one to photograph a position indicator (such as a point-like marker or a line-like one) installed on the ceiling or floor, but one or two cameras may serve both functions. It is also preferable to use a high-performance model that can take pictures even at night with little environmental light. Furthermore, the camera may be provided with a separate infrared detector or the above-mentioned cameras may be equipped with this function to detect the temperature of the monitoring target and detect the condition of the target, for example, whether it is dead or sick.
移動監視装置ＭＭ１が、センサＳＮＳＲとして、自装置の位置を測定する位置測定部（図示せず、ＧＰＳなど）と、角速度を計測するジャイロセンサと、加速度を計測する加速度センサと、高度を計測する高度センサと、自装置の走行距離を測定または推定する距離計を有する。 The mobile monitoring device MM1 has, as the sensor SNSR, a position measurement unit (not shown, such as a GPS) that measures the position of the device itself, a gyro sensor that measures angular velocity, an acceleration sensor that measures acceleration, an altitude sensor that measures altitude, and a rangefinder that measures or estimates the distance traveled by the device itself.
移動監視装置ＭＭ１は、
画像を撮像する撮像部ＣＭ１－３と、
自装置を移動させる駆動部ＤＲと、
前記移動監視装置の位置を取得する取得部ＲＥＴと、
前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部ＣＯＭと、
を有する。
The mobile monitoring device MM1 includes:
An imaging unit CM1-3 that captures an image;
A driving unit DR that moves the device itself;
An acquisition unit RET for acquiring a position of the mobile monitoring device;
a communication unit COM for transmitting monitoring information, including a position of the mobile monitoring device and an image at the position, to the server via a wireless or wired communication means;
has.
前記サーバＳＶ３は、
前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信部ＣＯＭと、
監視対象の監視事象（異常イベント、侵入者、火事、死亡、病気、特定動作、など）を設定する監視事象設定部ＭＥＳと、
前記画像において、設定された監視事象が、発生しているか否かを監視する監視部ＭＯＮと、
前記監視事象が発生したとき、（当該画像と、当該位置とを含むことが好適である）警報を出力する出力部ＯＵＴと、
を有する。
なお、出力される警報は、電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報などが好適である。また、監視部は、設定された監視事象が、発生しているか否かを監視するにあたって、ＡＩ技法を用いて、記憶部の画像情報ＩＭ（または、画像情報から派生した派生情報（画像の特徴パターンなど）など）を参照して、前記設定された監視事象が、発生しているか否かを監視することが好適である
The server SV3 is
a communication unit COM that receives the monitoring information from the mobile monitoring device, the monitoring information including a position of the mobile monitoring device and an image at the position;
A monitoring event setting unit MES for setting monitoring events (abnormal events, intruders, fires, deaths, illnesses, specific actions, etc.) of the monitoring target;
a monitoring unit MON that monitors whether a set monitoring event occurs in the image;
an output unit OUT for outputting an alarm (preferably including an image and a location) when the monitored event occurs;
has.
The output alarm is preferably an email transmission, an audio warning output or transmission, an image output, a warning to a security guard, a warning to an administrator, a report to a security company or the police, etc. In addition, when monitoring whether or not a set monitoring event has occurred, the monitoring unit preferably uses an AI technique to refer to the image information IM in the storage unit (or derived information derived from the image information (such as a characteristic pattern of the image)) to monitor whether or not the set monitoring event has occurred.
移動監視装置ＭＭＭ１が、
ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイド部ＧＤをさらに有し、
駆動部ＤＲが、
前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる。
A mobile monitoring device MMM1,
The device further includes a guide portion GD that is movably supported, placed, or suspended on the guide rail and guided along the guide rail;
The drive unit DR is
The device itself is moved along the guide rail while being supported, placed or suspended on the guide rail.
ネットワークＮＥＴを介して接続された建物情報サーバまたは記憶部ＭＥＭなどから、監視対象の建物や棚、鶏舎などのＣＡＤ情報を取得してもよい。ＣＡＤ情報と、このＣＡＤ情報の空間座標系に対応した、または、対応させた、位置指標配置情報、前記建物に配置された、監視対象の設置物（鶏舎のケージ、机、椅子、機材、など）のレイアウト情報から、移動ルートが設定される。表示部ＤＩＳは、本装置に格納される情報や生成された情報を表示することができる。 CAD information on the building, shelves, chicken coop, etc. to be monitored may be acquired from a building information server or memory unit MEM connected via the network NET. A movement route is set from the CAD information, position index placement information that corresponds to or is made to correspond to the spatial coordinate system of this CAD information, and layout information on the objects to be monitored that are placed in the building (chicken coop cages, desks, chairs, equipment, etc.). The display unit DIS can display information stored in the device and information generated.
サーバＳＶ３の制御部に含まれる各機能部は、制御部のメモリ空間に読み込まれたプログラムモジュールによって実現することが好適である。また、ドローンは、制御部のメモリ空間に読み込まれたプログラムモジュールによって各機能部を実現したり、内蔵するＧＰＳユニットやカメラユニットなどで各機能部を実現したりすることが可能である。通常、サーバは、記憶部或いはウェブサイトから、プロセッサを本装置の各部として機能させるソフトウェアをダウンロードして、ＰＣにインストールして起動することで、ＰＣが、本装置として動作する。なお、制御部に設けた各機能部は、機能上一定のまとまりのあるステップを１つにまとめたものに過ぎず、複数の機能部を１つの機能部にしたり、その一部を他の機能部に組み入れたり、他の独立した機能部に分割したりすることが可能である。 It is preferable that each functional unit included in the control unit of server SV3 is realized by a program module loaded into the memory space of the control unit. Also, the drone can realize each functional unit by a program module loaded into the memory space of the control unit, or by a built-in GPS unit or camera unit. Usually, the server downloads software from a storage unit or a website that causes the processor to function as each unit of the device, and installs and starts the software on the PC, causing the PC to operate as the device. Note that each functional unit provided in the control unit is merely a set of steps that are functionally coherent, and it is possible to combine multiple functional units into one functional unit, incorporate part of it into another functional unit, or split it into another independent functional unit.
このように、生成・抽出した情報や中間データおよび取得したデータを外部に送信したり、表示部に表示したり、生成・抽出した情報や中間データおよび取得したデータなどを記憶部に格納したりすることは、後述する他の実態態様でも同様に可能であることに注意されたい。なお、本装置は、汎用コンピュータ、特定用途コンピュータ、サーバ、ＰＣ、スマートフォンなどの携帯端末などのコンピュータ、或いは、本装置の機能や処理手順（方法）をコンピュータ上で実現（実行）するプログラムモジュールをコンピュータが持つＣＰＵや記憶部に保持したり、外部のサーバやストレージから読み込んだりすることで、コンピュータ上に本装置を構築することが好適であり、後続の各実施態様においても同様である。また、各機能部は、ネットワークで接続された別個のコンピュータや装置に分散させてもよい。また、複数の機能部を１つにしたり、処理ステップの一部を他の機能部にさせたりするような形態でもよい。さらに、本実施態様では、サーバと移動監視装置を別個のものとして規定したが、移動監視装置にサーバの各機能の一部または全てを含ませてもよい。 It should be noted that the generated/extracted information, intermediate data, and acquired data can be transmitted to the outside, displayed on the display unit, and stored in the storage unit in the other embodiments described below. It is preferable that the present device is constructed on a computer, such as a general-purpose computer, a specific-purpose computer, a server, a PC, or a mobile terminal such as a smartphone, or that a program module that realizes (executes) the functions and processing procedures (methods) of the present device on a computer is stored in the CPU or storage unit of the computer, or read from an external server or storage, and this is also the case in each of the subsequent embodiments. In addition, each functional unit may be distributed to a separate computer or device connected by a network. In addition, multiple functional units may be combined into one, or some of the processing steps may be assigned to other functional units. Furthermore, in this embodiment, the server and the mobile monitoring device are specified as separate entities, but the mobile monitoring device may include some or all of the functions of the server.
図１５は、図１４に示した監視装置で実行される処理の一例を示すフローチャートである。監視装置は、サーバＳＶ３と移動監視装置ＭＭ１の２つの装置が連携して処理を行う。他のサーバにある情報をサーバＳＶ３が一旦格納しておけば、他のサーバとの連携は不要とすることも可能である。 Figure 15 is a flow chart showing an example of processing executed by the monitoring device shown in Figure 14. The monitoring device performs processing in cooperation with two devices, server SV3 and mobile monitoring device MM1. If server SV3 temporarily stores information on other servers, it may be possible to eliminate the need for cooperation with other servers.
ステップＳ３１にて、移動監視装置のカメラが画像を撮像する。次に、ステップＳ３２にて、取得部が、移動監視装置の位置を取得する。そして、ステップＳ３３にて、移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、サーバに送信する。サーバは、ステップＳ３４にて、監視対象の異常イベント(死亡、病気、火事、侵入者、異常行動など)を設定する。ステップＳ３５にて、移動監視装置の駆動部が、位置指標で位置確認、および／または、ジャイロセンサおよび加速度センサ（またはＧＰＳ,距離計）を利用して位置確認しながら、
移動監視装置をガイドレールに沿って移動させる。なお、移動は、センサなどを使わずに、所定の距離（例えば、鶏舎の１ケージ分の距離など）を動くモータ電力を供給したり、所定の時間だけモータ動作させたりなど、簡易的な手法でもよい。
In step S31, the camera of the mobile monitoring device captures an image. Next, in step S32, the acquisition unit acquires the position of the mobile monitoring device. Then, in step S33, monitoring information including the position of the mobile monitoring device and an image at that position is transmitted to the server via wireless or wired communication means. In step S34, the server sets abnormal events (death, illness, fire, intruder, abnormal behavior, etc.) of the monitored object. In step S35, the drive unit of the mobile monitoring device confirms the position using a position indicator and/or a gyro sensor and acceleration sensor (or GPS, rangefinder),
The movement monitoring device is moved along a guide rail. Note that the movement may be achieved by a simple method such as supplying motor power for a predetermined distance (e.g., the distance of one chicken cage in a chicken coop) without using a sensor or by operating the motor for a predetermined period of time.
ステップＳ３６にて、移動監視装置のカメラが画像を撮像する。次に、移動監視装置の位置を取得し、ステップＳ３６－１にて、移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、サーバに送信する。ステップＳ３７にて、レールの終わりか否か、または、移動監視装置に搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、基地に帰還する。判定条件を満たさない場合は、ステップＳ３８に進む。 In step S36, the camera of the mobile monitoring device captures an image. Next, the position of the mobile monitoring device is acquired, and in step S36-1, monitoring information including the position of the mobile monitoring device and an image at that position is sent to a server via wireless or wired communication means. In step S37, it is determined whether the end of the rail has been reached, or whether the remaining power of the battery installed in the mobile monitoring device is insufficient. If the determination conditions are met, the device returns to the base. If the determination conditions are not met, the process proceeds to step S38.
ステップＳ３８にて、画像に異常イベント（監視事象）が発生しているか否かを判定する。異常イベントが発生していない場合は、ステップＳ３５に戻り、移動および撮像を続ける。異常イベントが発生している場合は、そのまま警報を発してもよいが、誤認識を少なくさせるために、ステップＳ３８－１に進み、移動監視装置を停止させるか、減速させて、当該異常イベントの画像の観察を続けることが好適である。そして、ステップＳ３８－２にて、異常イベントの発生が継続していると判定した場合に、ステップＳ３９にて、異常イベントの発生した位置、その時間の画像（映像を含む）を含む警報を出力する。ステップＳ３８－２にて、異常イベントの発生が継続していないと判定した場合は、誤認識であると判断し警報は出さずに、ステップＳ３５に戻り、移動（監視）を続ける。ステップＳ３９にて警報を出した後は、ステップＳ４０－１に進み、ステップＳ３７と同様に、レール（ルート）の終わりか否か、または、搭載した電池の残量電力が不足している否かを判定する。判定条件を満たす場合は、移動監視装置の基地（充電スポット）に帰還する。判定条件を満たさない場合は、ステップＳ３５に戻り、移動（監視）を続ける。 In step S38, it is determined whether an abnormal event (monitoring event) has occurred in the image. If an abnormal event has not occurred, the process returns to step S35 and movement and imaging are continued. If an abnormal event has occurred, an alarm may be issued as is, but in order to reduce false recognition, it is preferable to proceed to step S38-1, stop or slow down the mobile monitoring device, and continue observing the image of the abnormal event. Then, if it is determined in step S38-2 that the occurrence of the abnormal event is continuing, an alarm including the position where the abnormal event occurred and the image (including video) at that time is output in step S39. If it is determined in step S38-2 that the occurrence of the abnormal event is not continuing, it is determined that the occurrence is a false recognition, and no alarm is issued, and the process returns to step S35 and movement (monitoring) is continued. After issuing an alarm in step S39, the process proceeds to step S40-1, and, as in step S37, it is determined whether the end of the rail (route) is reached or whether the remaining power of the onboard battery is insufficient. If the determination condition is met, the mobile monitoring device returns to its base (charging spot). If the judgment conditions are not met, return to step S35 and continue moving (monitoring).
図１６は、本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物ＢＬＤの天井に設置された位置指標ＰＩ１～４をカメラＣＭ３で撮影して、当該指標に基づき、自装置の位置を認識する。位置指標は、位置指標配置情報の座標に配置されており、移動監視装置ＭＭ１は、位置指標で自装置の位置を認識しながら、移動ルートＲＴ１に沿って、位置指標ＰＩ１～４を順次認識していきながら、自装置の移動(駆動)を制御する。移動の際は、床に載置されたガイドレールＧＲ（これは天井や壁に載置、設置してもよい）に沿って移動する。位置指標は、ガイドレールＧＲに一体化してもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。また、位置指標は、蛍光部材や文字、図形、模様、色彩などのいずれか１つ以上を施したものが好適であり、天井に向けたカメラＣＭ３で撮影して、位置指標を画像認識することが好適である。位置指標は、それぞれ固有のものであり、個別に認識することで、位置指標配置情報ＬＩＬＩを参照することで、どの位置に移動監視装置が位置にするかが判明する仕組みになっている。或いは、位置指標は、特定の無線や光の信号を出す装置、WIFI基地局、無線タグでもよい（この場合は、カメラに代えて、無線通信部、光受信部などで信号を読み取る。）。また、位置指標に代えて室内用のＧＰＳ信号ユニットを設けて、これを移動監視装置のＧＰＳユニットで読み取ることで対応することも可能である。 Figure 16 is a schematic diagram explaining the monitoring technique of the mobile monitoring device of this device. As shown in the figure, the position indicators PI1 to 4 installed on the ceiling of the building BLD are photographed by the camera CM3, and the position of the device is recognized based on the indicators. The position indicators are arranged at the coordinates of the position indicator arrangement information, and the mobile monitoring device MM1 controls the movement (drive) of the device while recognizing the position of the device by the position indicators and sequentially recognizing the position indicators PI1 to 4 along the movement route RT1. When moving, the device moves along a guide rail GR (which may be placed or installed on the ceiling or wall) placed on the floor. The position indicator may be integrated into the guide rail GR. Also, the position may be measured and estimated using a range finder or the like without using the position indicator. Also, the position indicator is preferably one or more of fluorescent materials, letters, figures, patterns, colors, etc., and is preferably photographed by the camera CM3 facing the ceiling and the position indicator is preferably image-recognized. Each location index is unique, and by recognizing them individually and referring to the location index placement information LILI, it is possible to determine where the mobile monitoring device is located. Alternatively, the location index may be a device that emits a specific radio or optical signal, a WIFI base station, or a wireless tag (in this case, the signal is read by a wireless communication unit, optical receiver, etc., instead of a camera). It is also possible to provide an indoor GPS signal unit instead of a location index, and have the GPS unit of the mobile monitoring device read this.
そして、移動監視装置は、移動しながら、カメラＣＭ１、ＣＭ２で、左右の監視対象の棚ＳＢＪ１，ＳＢＪ２（建物ＢＬＤに設置されている）を撮影し、そこで、監視事象が発生しているか否かを監視する。 Then, while moving, the mobile monitoring device uses cameras CM1 and CM2 to capture images of the left and right monitored shelves SBJ1 and SBJ2 (installed in the building BLD) and monitors whether a monitoring event is occurring.
図１７は、本装置の移動監視装置の他の監視技法を説明する模式図である。図に示すように、移動監視装置ＭＭ２は、自走式であり、タイヤや無限軌道などで駆動し、床に載置された、または、塗布されたガイドラインＧＬに沿って移動する。その他の機能は、図１６のそれらと同様である。ガイドラインＧＬは、磁気テープ、磁気を含ませた塗膜、配色に特徴があるフィルム、テープ、塗膜（例えば、白色、黄色など）などが好適である。ガイドラインは、上述した飛行ルートに相当するものであり、走行ルートとして機能する。 Figure 17 is a schematic diagram explaining another monitoring technique of the mobile monitoring device of the present device. As shown in the figure, the mobile monitoring device MM2 is self-propelled, driven by tires or caterpillars, and moves along a guide line GL placed on the floor or painted on it. Other functions are the same as those of Figure 16. The guide line GL is preferably a magnetic tape, a coating impregnated with magnetism, or a film, tape, or coating with a distinctive color scheme (e.g., white, yellow, etc.). The guide line corresponds to the flight route described above, and functions as a travel route.
図１８は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物ＢＬＤの天井ＳＬに設置されたガイドレールＧＲに、移動監視装置ＭＭ３のガイド部ＧＤが支持され、移動監視装置ＭＭ３が懸架されている。移動監視装置ＭＭ３は、何らかの位置指標や、距離計などで自装置の位置を認識しながら、移動ルートＲＴ１に沿って、自装置の移動(駆動)を制御する。移動の際は、天井ＳＬに設置されたガイドレールＧＲに沿って移動する。位置指標は、ガイドレールＧＲに一体化してもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。 Figure 18 is a schematic diagram explaining the monitoring technique of the mobile monitoring device of this device when applied to a chicken coop. As shown in the figure, the guide section GD of the mobile monitoring device MM3 is supported on a guide rail GR installed on the ceiling SL of the building BLD, and the mobile monitoring device MM3 is suspended. The mobile monitoring device MM3 controls the movement (drive) of its own device along the movement route RT1 while recognizing its own position using some kind of position indicator or a range finder. When moving, it moves along the guide rail GR installed on the ceiling SL. The position indicator may be integrated into the guide rail GR. Also, the position may be measured and estimated using a range finder or the like without using a position indicator.
移動監視装置ＭＭ３は、上段の鶏舎ＣＧ３１、ＣＧ４１のために、カメラＣＭ２－３，下段の鶏舎ＣＧ３２、ＣＧ４２のために、カメラＣＭ４－５を有する。この例では、死亡、または、病気などの弱っている鶏が異常イベントであり、鶏ＢＤ１１，ＢＤ１２は、正常であり、異常イベントとは認識しない。鶏ＢＤ１３，ＢＤ１４は、蹲っている、または、倒れているので、サーバ側で、異常イベントと判定し、警報を出す。警報の際には、位置を示す鶏舎番号ＣＧ３２．鶏舎番号ＣＧ４２か、何らかの位置情報と、当該画像を出力する。 The mobile monitoring device MM3 has cameras CM2-3 for the chicken coops CG31 and CG41 on the upper level, and cameras CM4-5 for the chicken coops CG32 and CG42 on the lower level. In this example, dead or sick or otherwise weak chickens are abnormal events, while chickens BD11 and BD12 are normal and are not recognized as abnormal events. Chickens BD13 and BD14 are crouching or fallen, so the server determines this to be an abnormal event and issues an alarm. When an alarm is issued, the chicken coop number CG32 or CG42 indicating the location, or some other location information, and the image are output.
実施態様１と実施態様２とで共通するが、監視事象顕著化情報を利用すると、監視の精度がよくなり、誤警報を相当程度低減することが可能である。監視事象顕著化情報は、給餌情報（給餌の場所、時間など）、侵入者威嚇情報（警告光、警告振動、警告音発生場所、時間など）、臭い情報（監視対象の鶏などが嫌う、または、興奮する臭気など）、光情報（照明や屋内の照度、点滅、回転灯など）、開口部開閉情報（窓や換気扇の開閉など）、および、空調設定情報からなる群から選択される１つ以上のものである。
Common to both
よって、移動監視装置に、前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生手段をさらに設ける（例えば、光を発生する回転灯、音声を出すスピーカー、移動に伴い鶏舎と接触して振動と音を出す棒状部、給餌を開始させる信号出力部、照明や音声の出力を制御する制御信号出力部など）ことが好適である。 Therefore, it is preferable to further provide the mobile monitoring device with a monitoring event salience situation generating means for generating the monitoring event salience information situation (for example, a rotating light that generates light, a speaker that emits sound, a rod-shaped part that comes into contact with the chicken coop as it moves and produces vibrations and sound, a signal output unit that starts feeding, a control signal output unit that controls the output of lighting and sound, etc.).
図１９は、監視事象顕著化状況発生手段を設けた本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、移動監視装置ＭＭ４は、監視事象顕著化状況発生手段として、監視対象のエリアだけに光（好適には、鶏にストレスを与えず、活動化させる程度の光や光の色や波長）を発生し、鶏を刺激する回転灯ＰＬ１、ＰＬ２（回転灯）、監視対象のエリアだけに振動と音を発生し、鶏を刺激する鶏舎打撃棒ＢＲ１，ＢＲ２を有する。このときの振動と音は、給餌の際の音響と、給餌の振動にできるだけ近いものにすることが好適である。給餌の音や振動を与えられると、元気な鶏は、必ず、反応して、立ち上がり、活動的になるからである。また、給餌の際の音を再現して、再生するスピーカーに監視事象顕著化状況発生手段として好適である。或いは、餌の臭いや、オスの臭い（フェロモン）などを発生する手段も監視事象顕著化状況発生手段として有効である。 Figure 19 is a schematic diagram explaining the monitoring technique of the mobile monitoring device of the present device equipped with a monitoring event conspicuous situation generating means. As shown in the figure, the mobile monitoring device MM4 has, as a monitoring event conspicuous situation generating means, rotating lights PL1, PL2 (rotating lights) that emit light (preferably light, color, or wavelength of light that does not stress the chickens and activates them) only in the area to be monitored to stimulate the chickens, and chicken coop striking rods BR1, BR2 that emit vibrations and sounds only in the area to be monitored to stimulate the chickens. It is preferable that the vibrations and sounds at this time are as close as possible to the sound of feeding and the vibrations of feeding. This is because when healthy chickens are given the sound and vibrations of feeding, they will always react, stand up, and become active. In addition, a speaker that reproduces and plays the sound of feeding is suitable as a monitoring event conspicuous situation generating means. Alternatively, a means for emitting the smell of food or the smell of males (pheromones) is also effective as a monitoring event conspicuous situation generating means.
図２０は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物の床ＦＬに設置、敷設、または塗布されたガイドラインＧＬを、移動監視装置ＭＭ５のライン読取センサＬＳＮが読み取り、このガイドラインＧＬに沿って自動で移動する。移動監視装置ＭＭ５は、ガイドラインで自装置の位置を認識しながら（好適には距離計やジャイロセンサなどを併用する）、ガイドラインＧＬに沿って、自装置の移動(駆動)を制御する。ガイドラインは、誘導のみならず、位置指標が一体化したものでもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。 Figure 20 is a schematic diagram explaining the monitoring technique of the mobile monitoring device of this device when applied to a chicken coop. As shown in the figure, the line reading sensor LSN of the mobile monitoring device MM5 reads the guideline GL that is installed, laid or painted on the floor FL of the building, and the device automatically moves along this guideline GL. The mobile monitoring device MM5 recognizes its own position using the guideline (preferably in combination with a rangefinder or gyro sensor, etc.) and controls the movement (drive) of its own device along the guideline GL. The guideline may not only be used for guidance, but may also incorporate a position indicator. Also, the position may be measured and estimated using a rangefinder, etc., without using a position indicator.
図２１は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物の天井ＳＬに設置、敷設、または塗布されたガイドラインＧＬを、移動監視装置ＭＭ６の上部に設置されたライン読取センサＬＳＮが読み取り、このガイドラインＧＬに沿って自動で移動する。移動監視装置ＭＭ５は、ガイドラインで自装置の位置を認識しながら（好適には距離計、加速度計、および／または、ジャイロセンサなどを併用する）、ガイドラインＧＬに沿って、自装置の移動(駆動)を制御する。ガイドラインは、誘導のみならず、位置指標が一体化したものでもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。本態様の利点は、鶏舎などの鶏糞や羽などで汚れた場合に、床に設置されたガイドラインを読み取り不良になる恐れがあるが、それを防止できる。天井は、鶏糞や羽などで汚染される可能性はほぼないからである。 Figure 21 is a schematic diagram explaining the monitoring technique of the mobile monitoring device of the present device when applied to a chicken coop. As shown in the figure, the line reading sensor LSN installed on the top of the mobile monitoring device MM6 reads the guideline GL installed, laid, or painted on the ceiling SL of the building, and automatically moves along this guideline GL. The mobile monitoring device MM5 controls the movement (drive) of its own device along the guideline GL while recognizing its own device's position using the guideline (preferably using a rangefinder, accelerometer, and/or gyro sensor in combination). The guideline may be one that not only guides but also integrates a position indicator. Also, the position may be measured and estimated using a rangefinder or the like without using a position indicator. The advantage of this embodiment is that it can prevent the guideline installed on the floor from being read incorrectly when it is soiled with chicken droppings or feathers in a chicken coop, etc. This is because there is almost no possibility of the ceiling being contaminated by chicken droppings or feathers.
上述した監視技法は、監視の手法として画像情報を用いたものであるが、距離センサを用いた監視技法を以下の実施態様３で説明する。 The above-mentioned monitoring technique uses image information as a monitoring method, but a monitoring technique using a distance sensor will be explained in the following embodiment 3.
＜実施態様３＞
図２２は、本発明の一実施態様による監視装置の概要を示すブロック図である。図に示すように、監視装置ＭＯＳ４は、移動監視装置ＭＭ７、ＭＭ８とサーバＳＶ４とを含むものである。サーバＳＶ４は、制御部（ＣＰＵ、演算処理装置、プロセッサ）ＣＯＮ、入力部ＩＮ、出力部ＯＵＴ、通信部ＣＯＭ、記憶部ＭＥＭ、および、表示部ＤＩＳを有する。移動監視装置ＭＭ７は、特に指摘しない限り移動監視装置ＭＭ１と同様の構成および機能を持つが、作図と説明の便宜上、一部の構成を省略してある。
<Embodiment 3>
Fig. 22 is a block diagram showing an overview of a monitoring device according to an embodiment of the present invention. As shown in the figure, the monitoring device MOS4 includes mobile monitoring devices MM7 and MM8 and a server SV4. The server SV4 has a control unit (CPU, arithmetic processing unit, processor) CON, an input unit IN, an output unit OUT, a communication unit COM, a memory unit MEM, and a display unit DIS. The mobile monitoring device MM7 has the same configuration and functions as the mobile monitoring device MM1 unless otherwise specified, but some components are omitted for convenience of drawing and explanation.
移動監視装置ＭＭ７は、撮像部としてカメラＣＭ１～３、センサＳＮＳＲ１－４（距離計）、制御部ＣＯＮ（ＣＰＵ、演算処理装置、プロセッサ）、通信部ＣＯＭ、出力部ＯＵＴ、記憶部ＳＴＲを有するが、さらに、入力部（図示せず）、および、表示部（図示せず）を有してもよい。カメラは、鶏舎などの監視対象を撮影するものが２つと、移動方向や天井や床などに設置した位置指標・識別情報（点状のマーカーやライン状のものなど）を撮影するもの１つを設けることが好適であるが、１つ、または、２つでその機能を兼ねてもよい。また、カメラは、夜間でも僅かな環境中の光で撮影可能な高性能な機種を使用することが好適である。さらに、カメラは赤外線を検知するものを別途設けたり、上記のものにその機能を搭載させたりして、監視対象の温度を検知して、対象の状態、例えば、死んでいるか、病気であるか否かなどを検知してもよい。 The mobile monitoring device MM7 has cameras CM1-3 as an imaging unit, sensors SNSR1-4 (range finder), a control unit CON (CPU, arithmetic processing unit, processor), a communication unit COM, an output unit OUT, and a memory unit STR, but may also have an input unit (not shown) and a display unit (not shown). It is preferable to have two cameras to capture images of the monitoring target such as a chicken coop, and one to capture images of the direction of movement or position indicators and identification information (such as point-like markers or line-like objects) installed on the ceiling or floor, but one or two cameras may serve both functions. It is also preferable to use a high-performance model that can capture images even at night with little environmental light. Furthermore, the camera may be provided with a separate infrared detector or the above-mentioned camera may be equipped with this function to detect the temperature of the monitoring target and detect the condition of the target, for example, whether it is dead or sick.
好適には、移動監視装置ＭＭ７が、自装置の位置を測定する位置測定部（図示せず、ＧＰＳなど）と、角速度を計測するジャイロセンサと、加速度を計測する加速度センサと、自装置の走行距離を測定または推定する距離計を有する。 Preferably, the mobile monitoring device MM7 has a position measurement unit (not shown, such as a GPS) that measures the position of the device itself, a gyro sensor that measures angular velocity, an acceleration sensor that measures acceleration, and a rangefinder that measures or estimates the distance traveled by the device itself.
移動監視装置ＭＭ７は、
画像を撮像する撮像部であるカメラＣＭ１－３と、
距離情報を取得するセンサＳＮＳＲ１－４と、
前記移動監視装置の移動方向を定める識別情報（ガイドテープなど）を取得する取得部ＲＥＴと、
前記識別情報に基づき自装置を移動させる駆動部ＤＲと、
前記距離情報と前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部ＣＯＭと、
を有する。
The mobile monitoring device MM7 is
A camera CM1-3 which is an imaging unit that captures an image;
A sensor SNSR1-4 for acquiring distance information;
an acquisition unit RET for acquiring identification information (such as a guide tape) that determines a moving direction of the movement monitoring device;
A driving unit DR that moves the device itself based on the identification information;
a communication unit COM that transmits monitoring information, including the distance information and the image, to the server via a wireless or wired communication means;
has.
サーバＳＶ４が、
監視事象を示すモデル変化パターン情報ＭＣＰを格納する記憶部ＭＥＭと、
前記移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する通信部ＣＯＭと、
前記モデル変化パターン情報と、前記距離情報の変化パターンとを比較して、監視事象（死亡、病気、座っている状態など）が発生しているか否かを監視する監視部ＭＯＮと、
前記監視事象が発生したとき、（当該位置の画像と、当該位置とを含むことが好適である）警報を出力する出力部ＯＵＴと、
を有する。
Server SV4:
a memory unit MEM for storing model change pattern information MCP indicating a monitored event;
a communication unit COM that receives the monitoring information, including the distance information and the image, from the mobile monitoring device;
a monitoring unit MON for comparing the model change pattern information with a change pattern of the distance information to monitor whether a monitoring event (death, illness, sitting state, etc.) has occurred;
an output unit OUT for outputting an alarm (preferably including an image of the location and the location) when the monitored event occurs;
has.
なお、出力される警報は、電子メールの送信、警告音声の出力や送信、画像出力、監視員への警告、管理者への警告、警備会社や警察などへの通報などが好適である。また、監視部は、設定された監視事象が、発生しているか否かを監視するにあたって、ＡＩ技法を用いて、記憶部の画像情報ＩＭ（または、画像情報から派生した派生情報（画像の特徴パターンなど）など）を参照して、前記設定された監視事象が、発生しているか否かを監視することが好適である。ＡＩ技法を用いた態様を以下に挙げる。 The output alarm is preferably an email transmission, an audio warning output or transmission, an image output, a warning to a security guard, a warning to an administrator, or a report to a security company or the police. In addition, when monitoring whether a set monitoring event has occurred, the monitoring unit preferably uses AI techniques to refer to the image information IM in the memory unit (or derived information derived from the image information (such as a characteristic pattern of the image)) to monitor whether the set monitoring event has occurred. Examples of the use of AI techniques are given below.
移動監視装置が、
画像を撮像する撮像部と、
距離情報を取得するセンサと、
前記移動監視装置の移動方向を定める識別情報（ガイドテープなど）を取得する取得部と、
前記識別情報に基づき自装置を移動させる駆動部と、
前記距離情報と前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有する。
The mobile monitoring device
An imaging unit that captures an image;
A sensor for acquiring distance information;
An acquisition unit that acquires identification information (such as a guide tape) that determines a moving direction of the movement monitoring device;
a driving unit that moves the device itself based on the identification information;
a communication unit that transmits monitoring information, including the distance information and the image, to the server via a wireless or wired communication means;
has.
サーバが、
多数の距離の変化パターンを格納する記憶部ＭＥＭと、
前記多数の距離の変化パターンと、該変化パターンの少なくとも一部に関連付けられた監視事象とに基づき学習されたＡＩエンジンと、
前記移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する通信部ＣＯＭと、を有し、
前記ＡＩエンジンが、
前記距離情報の変化パターンに基づき、監視事象（死亡、病気、座っている状態など）が発生しているか否かを監視し、
前記サーバが、
前記監視事象が発生したとき、（当該位置の画像と、当該位置とを含むことが好適である）警報を出力する出力部、さらに有する、
ことを特徴とする。
The server
A memory unit MEM for storing a large number of distance change patterns;
an AI engine that is trained based on a pattern of changes in the plurality of distances and a monitored event associated with at least a portion of the pattern of changes;
a communication unit COM that receives the monitoring information, including the distance information and the image, from the mobile monitoring device;
The AI engine,
Based on the change pattern of the distance information, monitor whether a monitoring event (death, illness, sitting state, etc.) has occurred;
The server,
an output unit that outputs an alarm (preferably including an image of the location and the location) when the monitored event occurs;
It is characterized by:
図２３は、図２２に示した監視装置で実行される処理の一例を示すフローチャートである。図に示すように、ステップＳ４１では、監視事象を示すモデル変化パターン情報ＭＣＰを格納する。次に、ステップＳ４２では、移動監視装置から、前記距離情報と前記画像とを含む、前記監視情報を受信する。また、ステップＳ４３では、モデル変化パターン情報と、前記距離情報の変化パターンとを比較して、監視事象（死亡、病気、座っている状態など）が発生しているか否かを監視する。もちろん、他の実施態様と同様に、監視事象を所望のものに設定することも可能である。さらに、ステップＳ４４では、監視事象が発生したとき、（当該位置の画像と、当該位置とを含むことが好適である）警報を出力する。 Figure 23 is a flow chart showing an example of processing executed by the monitoring device shown in Figure 22. As shown in the figure, in step S41, model change pattern information MCP indicating a monitoring event is stored. Next, in step S42, the monitoring information including the distance information and the image is received from the mobile monitoring device. In addition, in step S43, the model change pattern information is compared with the change pattern of the distance information to monitor whether a monitoring event (death, illness, sitting state, etc.) has occurred. Of course, as in other embodiments, it is also possible to set the monitoring event to a desired one. Furthermore, in step S44, when a monitoring event occurs, an alarm (preferably including an image of the position and the position) is output.
図２４は、鶏舎に適用した場合の本装置の移動監視装置の監視技法を説明する模式図である。図に示すように、建物の床ＦＬに設置、敷設、または塗布されたガイドテープＧＴを、移動監視装置ＭＭ７の下部に設置されたテープ読取センサＴＳＮが読み取り、このガイドテープＧＴに沿って自動で移動する。移動監視装置ＭＭ７は、ガイドテープで自装置の位置を認識しながら（好適には距離計、加速度計、および／または、ジャイロセンサなどを併用する）、ガイドテープＧＴに沿って、自装置の移動(駆動)を制御する。ガイドテープは、誘導のみならず、位置指標が一体化したものでもよい。また、位置指標を用いず、距離計などで位置を測定、推定してもよい。本態様の利点は、鶏舎が暗い場合であっても、画像認識に頼らずに、距離センサの活用で監視事象を識別することができることである。 Figure 24 is a schematic diagram explaining the monitoring technique of the mobile monitoring device of the present device when applied to a chicken coop. As shown in the figure, a guide tape GT installed, laid or applied on the floor FL of the building is read by a tape reading sensor TSN installed at the bottom of the mobile monitoring device MM7, and the device automatically moves along the guide tape GT. The mobile monitoring device MM7 recognizes its own position using the guide tape (preferably using a range finder, an accelerometer, and/or a gyro sensor in combination) and controls the movement (drive) of its own device along the guide tape GT. The guide tape may be one that not only guides but also has a position indicator integrated into it. Also, the position may be measured and estimated using a range finder or the like without using a position indicator. The advantage of this embodiment is that even if the chicken coop is dark, the monitoring event can be identified by utilizing a distance sensor without relying on image recognition.
距離を測定する距離センサＳＮＳＲ１，２，３，４、は、それぞれ上段、下段の左右のケージＣＧ３１－３４に向けて、レーザ光や赤外線などの測定線を放出し、その反射線を受けて、距離を測定する。測定線は、鶏の足の部分に当たるように放射され、立っている鶏は細い足の形状に沿った距離を検知し、座っている鶏は、その体に形状に沿った距離を検知する。 The distance sensors SNSR1, 2, 3, 4, which measure distance, emit measurement rays such as laser light or infrared rays toward the left and right cages CG31-34 on the upper and lower levels, respectively, and measure the distance by receiving the reflected rays. The measurement rays are emitted so that they hit the chicken's legs, and for standing chickens, the distance is detected along the shape of the chicken's thin legs, and for sitting chickens, the distance is detected along the shape of the chicken's body.
図２５は、本装置によるセンサの距離測定の例を示す図である。図に示すように、移動監視装置ＭＭ７は、左から右に移動（進行）する。そして、移動しながら、センサＳＮＳＲ１は、ある鶏舎ＣＧ３２における距離を測定する。ここでは、鶏舎内には、鶏ＢＤ１－４がいるが、ＢＤ１，３，４は立っていて、ＢＤ２は、下に蹲っている（即ち、弱っているか、死んでいる）ものとする。測定した距離をグラフＧ３２にすると、グラフＧ３２のように、縦軸が距離で、横軸が進行方向距離（移動距離または時間）である。グラフＧ３２には、立っている鶏は、短い距離（時間）の棒状のシルエットが現れ、座っている鶏ＢＤ２（死んでいる鶏）は、丸みを帯びたシルエットが現れる。本装置は、このような距離の変化パターンをＡＩに学習させモデル変化パターン情報として記憶させてあり、それと比較して、正常な鶏と、異常な鶏を判定している。或いは、グラフのような形状ではなく、距離が変位した後、所定の時間（移動距離）に亘って、所定の閾値以下の変化に留まるものを死骸と判定するような数学的な手法で変化パターンを認識させてもよい。 Figure 25 is a diagram showing an example of distance measurement by the sensor by this device. As shown in the figure, the movement monitoring device MM7 moves (advances) from left to right. While moving, the sensor SNSR1 measures the distance in a certain chicken coop CG32. Here, chickens BD1-4 are in the chicken coop, but BD1, 3, and 4 are standing, and BD2 is crouching (i.e., weak or dead). If the measured distance is plotted on a graph G32, as in graph G32, the vertical axis is distance and the horizontal axis is the distance in the direction of travel (travel distance or time). In graph G32, a standing chicken appears as a rod-shaped silhouette with a short distance (time), and a sitting chicken BD2 (a dead chicken) appears as a rounded silhouette. This device has AI learn such distance change patterns and store them as model change pattern information, and compares them to determine whether the chicken is normal or abnormal. Alternatively, rather than using a graph-like shape, the change pattern can be recognized using a mathematical method in which a change in distance that remains below a certain threshold for a certain period of time (travel distance) after the change is detected is deemed to be a corpse.
図２６は、本装置によるセンサの距離測定の例を示す図である。図に示すように、グラフＧ３２には、立っている鶏は、短い距離（時間）の棒状のシルエットが現れ、座っている鶏ＢＤ２（死んでいる鶏）は、丸みを帯びたシルエットが現れる。しかし、このグラフでは、実際の鶏舎内の位置とは、上下が反転しており、実際の鶏の位置が把握しにくい。そこで、本装置は、波形処理で上下反転した反転グラフＧ３２－Ｉを生成することが可能である。そして、丸みを帯びたシルエットの位置に、座っている鶏ｄＢＤ（死んでいる鶏）を重畳して表示部に表示させることが可能である。 Figure 26 shows an example of distance measurement by the sensor using this device. As shown in the figure, in graph G32, standing chickens appear as rod-shaped silhouettes over a short distance (time), while sitting chicken BD2 (dead chickens) appear as rounded silhouettes. However, this graph is upside down compared to the actual positions in the chicken coop, making it difficult to grasp the actual positions of the chickens. Therefore, this device is capable of generating an inverted graph G32-I that is upside down using waveform processing. It is then possible to display the sitting chicken dBD (dead chicken) superimposed on the position of the rounded silhouette on the display unit.
図２７は、本装置によるセンサの距離測定の波形処理例（数値処理例）を示す図である。図のグラフＧ３３に示すように、鶏舎内を距離測定すると、足だけの細い波形（即ち、大きく変位した後、次に大きく変位するまでの移動距離（時間）が短いものと、座っている太い波形（即ち、大きく変位した後、次に大きく変位するまでの移動距離（時間）が長いもの）とがある。本願発明者らは、ここに着目し、変位した後、次に大きく変位するまで、移動距離（時間）が所定の閾値以下の波形（即ち、足の波形(正常な鶏の波形・数値）を除外するフィルタ機能を有する。グラフＧ３３－１に示したのが、フィルタ機能によって、座っている鶏の波形・数値、即ち、死骸だけの波形・数値を抽出したものである。 Figure 27 shows an example of waveform processing (example of numerical processing) of distance measurement by the sensor by this device. As shown in graph G33 in the figure, when measuring distance inside a chicken coop, there are thin waveforms of only the legs (i.e., those that move a short distance (time) after a large displacement until the next large displacement), and thick waveforms of sitting (i.e., those that move a long distance (time) after a large displacement until the next large displacement). The inventors of the present application focused on this and have a filter function that excludes waveforms that move a distance (time) below a predetermined threshold after a displacement until the next large displacement (i.e., waveforms of legs (waveforms and values of normal chickens)). Graph G33-1 shows the waveforms and values of sitting chickens, i.e., those of only the carcasses, extracted using the filter function.
図２８は、本装置によるセンサの距離測定の波形処理例（数値処理例）を示す図である。図に示すように、鶏舎内を距離測定すると、足だけの細い波形（即ち、大きく変位した後、次に大きく変位するまでの移動距離（時間）が短いものと、座っている太い波形（即ち、大きく変位した後、次に大きく変位するまでの移動距離（時間）が長いもの）とがある。さらに、実際の鶏舎には、鉄棒ＧＲ１－５など柵を構成する部材があり、これが測定される。距離測定結果を反転させる波形処理をしたのがグラフＧ３４－Ｉである。 Figure 28 shows an example of waveform processing (example of numerical processing) of distance measurement by the sensor using this device. As shown in the figure, when measuring distance inside a chicken coop, there are thin waveforms of just the legs (i.e., waveforms in which the distance (time) traveled from one large displacement to the next large displacement is short) and thick waveforms of sitting (i.e., waveforms in which the distance (time) traveled from one large displacement to the next large displacement is long). Furthermore, in an actual chicken coop, there are components that make up the fence, such as iron bars GR1-5, and these are measured. Graph G34-I shows waveform processing that inverts the distance measurement results.
図２９は、本装置によるセンサの距離測定の波形処理例（数値処理例）を示す図である。図に示すように、グラフＧ３４－Ｉは、図２８のものと同様である。本装置は、グラフにおける鶏足や、座っている鶏のシルエットを、実際のゲージ配置の対応した位置に仮想鶏として投影することができる。例えば、立っている正常な鶏は、仮想鶏Ｖ－ＢＤ１，Ｖ－ＢＤ３，４として投影される。そして、座っている鶏は、仮想鶏Ｖ－ＢＤ２として投影される。また、格子ＧＲ１－５も投影される。本機能によって、鶏舎スタッフは、異常がある鶏がどの鶏舎のどの位置にあるのかを容易に認識し、それを除去して衛生管理を向上することが可能である。 Figure 29 shows an example of waveform processing (example of numerical processing) of the sensor distance measurement by this device. As shown in the figure, graph G34-I is the same as that in Figure 28. This device can project chicken legs and the silhouettes of sitting chickens in the graph as virtual chickens at the corresponding positions in the actual cage arrangement. For example, normal chickens standing are projected as virtual chickens V-BD1, V-BD3, and 4. And sitting chickens are projected as virtual chicken V-BD2. Grids GR1-5 are also projected. This function allows chicken coop staff to easily recognize which chicken coop has an abnormal chicken and where it is located, and to remove it and improve hygiene management.
図３０は、本装置によるセンサの距離測定の波形処理例（数値処理例）を示す図である。この例では、同じ方向の距離を測定する２つのセンサによる波形を示す。即ち、進行方向（水平方向）に所定の距離（例えば１０ｃｍ）離間したセンサを２つ設けてある。図に示すように、前方にあるセンサによるグラフＧ４０は、正常な立っている鶏の波形ＰＫ１０，ＰＫ１２，ＰＫ１３と、座っている異常な鶏の波形ＰＫ１１が現れる。そして、図に示すように、後方にあるセンサによるグラフＧ４１は、正常な立っている鶏の波形ＰＫ２２，ＰＫ２３と、座っている異常な鶏の波形ＰＫ２０、２１と、が現れる。ここでの波形ＰＫ２０は、鶏の足が移動したことによるエラーであり、生物である鶏を測定するには避けられない検出エラーである。そこで、本発明者らは、２つのセンサを使い、２つのグラフを（所定の距離分シフトさせて）重ね合わせ、ズレ、不一致する波形を除外することでこの検出エラーを除くことを着想し、実現させた。監視対象の移動によるエラーを除いたグラフＧ４２に示すように、信頼のおけない検出エラーである波形ＰＫ２０の成分を除外したものを提供することが可能である。その装置構成を以下に挙げる。 Figure 30 is a diagram showing an example of waveform processing (example of numerical processing) of the distance measurement of the sensor by this device. In this example, the waveforms from two sensors measuring the distance in the same direction are shown. That is, two sensors are provided at a predetermined distance (for example, 10 cm) apart in the direction of travel (horizontal direction). As shown in the figure, the graph G40 from the sensor in front shows waveforms PK10, PK12, and PK13 of a normal standing chicken and waveform PK11 of an abnormal sitting chicken. And as shown in the figure, the graph G41 from the sensor in the rear shows waveforms PK22 and PK23 of a normal standing chicken and waveforms PK20 and PK21 of an abnormal sitting chicken. The waveform PK20 here is an error caused by the movement of the chicken's legs, and is an unavoidable detection error when measuring a living chicken. Therefore, the inventors came up with the idea of using two sensors, superimposing the two graphs (by shifting them by a predetermined distance), and eliminating the misaligned and inconsistent waveforms to eliminate this detection error, and have realized it. As shown in graph G42, which removes errors caused by movement of the monitored object, it is possible to provide a waveform that excludes the components of waveform PK20, which are unreliable detection errors. The device configuration is as follows:
移動監視装置は、
第１距離情報を取得する第１センサと、
第２距離情報を取得する第２センサと、
前記移動監視装置の移動方向を定める識別情報（ガイドテープなど）を取得する取得部と、
前記識別情報に基づき自装置を移動させる駆動部と、
前記第１距離情報と、前記第２距離情報と、前記画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
監視事象を示すモデル変化パターン情報を格納する記憶部と、
前記移動監視装置から、前記第１距離情報と、第２距離情報と、前記画像とを含む、前記監視情報を受信する通信部と、
前記第１距離情報と、第２距離情報の変化パターンとを比較して、各変化パターンから対象物（鶏など）の移動によって生じる成分を除外した除外変化パターンを生成するパターン生成部と、
前記モデル変化パターン情報と、前記除外変化パターンとを比較して、監視事象（死亡、病気、座っている状態など）が発生しているか否かを監視する監視部と、
前記監視事象が発生したとき、（当該位置の画像と、当該位置とを含むことが好適である）警報を出力する出力部と、
を有する。
The mobile monitoring device
a first sensor configured to obtain first distance information;
a second sensor configured to obtain second distance information;
An acquisition unit that acquires identification information (such as a guide tape) that determines a moving direction of the movement monitoring device;
a driving unit that moves the device itself based on the identification information;
a communication unit that transmits monitoring information, including the first distance information, the second distance information, and the image, to the server via a wireless or wired communication means;
having
The server,
A storage unit for storing model change pattern information indicating a monitored event;
a communication unit that receives the monitoring information from the mobile monitoring device, the monitoring information including the first distance information, the second distance information, and the image;
a pattern generating unit that compares the change patterns of the first distance information and the second distance information to generate an exclusion change pattern by excluding a component caused by a movement of an object (such as a chicken) from each change pattern;
a monitoring unit that compares the model change pattern information with the exclusion change pattern to monitor whether a monitoring event (death, illness, sitting state, etc.) has occurred;
an output unit that outputs an alarm (preferably including an image of the location and the location) when the monitored event occurs;
has.
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部、各ステップなどに含まれる処理や機能などは論理的に矛盾しないように再配置可能であり、複数の手段／部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。或いは、本発明による装置、方法、プログラムなどの一部の構成要素、機能、処理、ステップなどを遠隔地のサーバなどに配置することも可能であることに注意されたい。また、本発明をリアルタイムの監視装置として説明してきたが、撮影済みの画像を入力として、不審な対象が撮影した時間帯や瞬間を切り出す、編集装置や編集システムとしても使用可能である。 Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these modifications and corrections are included in the scope of the present invention. For example, the processes and functions included in each part and each step can be rearranged so as not to cause logical inconsistencies, and multiple means/parts and steps can be combined into one or divided. Alternatively, it should be noted that some of the components, functions, processes, steps, etc. of the device, method, program, etc. according to the present invention can be arranged on a remote server, etc. In addition, although the present invention has been described as a real-time monitoring device, it can also be used as an editing device or editing system that uses a captured image as input and extracts the time period or moment when a suspicious subject was captured.
ＢＤ１-７ 鶏
ＰＩ１-４ 位置指標配置情報
ＣＭ１-３ カメラ
ＯＡＢＥ１-３ 異常イベント発生ポイント
ＡＢＥ 設定インターフェイス
ＡＢＥ１ 異常イベント
ＡＢＥ２ 異常イベント
ＡＢＥ３ 異常イベント
ＡＢＥ５ 異常イベント
ＡＢＥ６ 異常イベント
ＡＢＥ７ 異常イベント
ＡＣＱ 取得部
ＡＦＳ 自動給餌サーバ
ＢＬＤ 建物
ＢＬＤ１ 建物
ＣＩ ＣＡＤ情報
ＣＩＡＬＬ ＣＡＤ情報
ＣＭ１ カメラ
ＣＭ３ カメラ
ＣＯＭ 通信部
ＣＯＮ 制御部
ＤＢ ドローン基地
ＤＩＳ 表示部
ＤＲ１ ドローン
ＤＲ２ ドローン
ＤＲ５ ドローン
ＤＲ５ ドローン
ＤＲ６ ドローン
ＦＬＳ 飛行ルート設定部
ＦＲ１ 飛行ルート
ＦＲ１，ＦＲ２ 飛行ルート
ＦＲ２ 飛行ルート
ＩＮ 入力部
ＬＩＬＩ 位置指標配置情報
ＭＥＭ 記憶部
ＭＥＳ 監視事象設定部
ＭＯＮ 監視部
ＭＯＳ１ 監視装置
ＭＯＳ２ 監視装置
ＮＥＴ ネットワーク
ＯＡＢＥ 異常イベント
ＯＵＴ 出力部
ＳＢＪ１，ＳＢＪ２ 監視対象
ＳＢＪ３，ＳＢＪ４ 監視対象
ＳＨＬＦ 棚
ＳＨＬＦ１ 棚
ＳＬ１ 画面インターフェイス
ＳＬ２ 画面インターフェイス
ＳＬ３ 画面インターフェイス
ＳＬＩ レイアウト情報
ＳＮＳＲ センサ
ＳＴＲ 記憶部
ＳＶ１ サーバ
ＳＶ２ サーバ
ＷＲＮ１ 警報情報
ＷＲＮ２ 警報情報
BD1-7 Chicken PI1-4 Position index placement information CM1-3 Camera OABE1-3 Abnormal event occurrence point ABE Setting interface ABE1 Abnormal event ABE2 Abnormal event ABE3 Abnormal event ABE5 Abnormal event ABE6 Abnormal event ABE7 Abnormal event ACQ Acquisition unit AFS Automatic feeding server BLD Building BLD1 Building CI CAD information CIALL CAD information CM1 Camera CM3 Camera COM Communication unit CON Control unit DB Drone base DIS Display unit DR1 Drone DR2 Drone DR5 Drone DR5 Drone DR6 Drone FLS Flight route setting unit FR1 Flight routes FR1, FR2 Flight route FR2 Flight route IN Input unit LILI Position index placement information MEM Memory unit MES Monitoring event setting unit MON Monitoring unit MOS1 Monitoring device MOS2 Monitoring device NET Network OABE Abnormal event OUT Output unit SBJ1, SBJ2 Monitoring object SBJ3, SBJ4 Monitoring object SHLF Shelf SHLF1 Shelf SL1 Screen interface SL2 Screen interface SL3 Screen interface SLI Layout information SNSR Sensor STR Storage unit SV1 Server SV2 Server WRN1 Alarm information WRN2 Alarm information
Claims (18)
前記移動監視装置が、
画像を撮像する撮像部と、
自装置を移動させる駆動部と、
前記移動監視装置の位置を取得する取得部と、
前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信部と、
を有し、
前記サーバが、
前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信部と、
監視対象の監視事象を設定する監視事象設定部と、
前記画像において、設定された監視事象が、発生しているか否かを監視する監視部と、
前記監視事象が発生したとき、警報を出力する出力部と、
を有し、
前記移動監視装置の前記通信部が、前記監視事象を顕著化させる情報を表す監視事象顕著化情報を受信したとき、前記移動監視装置の前記駆動部が前記監視事象顕著化情報に基づき、前記監視事象を誘発して顕著化させるよう前記移動監視装置を制御し、
前記サーバの前記通信部が、前記監視事象顕著化情報を受信したとき、前記監視事象顕著化情報に基づき、前記通信部を介して、前記移動監視装置の前記駆動部を制御して、前記監視事象を誘発して顕著化させるよう前記移動監視装置を制御する
ことを特徴とする、監視装置。 A monitoring device including a mobile monitoring device and a server,
The mobile monitoring device,
An imaging unit that captures an image;
A drive unit that moves the device itself;
An acquisition unit that acquires a position of the mobile monitoring device;
a communication unit that transmits monitoring information, including a position of the mobile monitoring device and an image at the position, to the server via a wireless or wired communication means;
having
The server,
a communication unit that receives the monitoring information from the mobile monitoring device, the monitoring information including a position of the mobile monitoring device and an image at the position;
a monitoring event setting unit for setting a monitoring event of a monitoring target;
a monitoring unit that monitors whether a set monitoring event occurs in the image;
an output unit that outputs an alarm when the monitored event occurs;
having
when the communication unit of the mobile monitoring device receives monitoring event salience information representing information that salients the monitoring event, the drive unit of the mobile monitoring device controls the mobile monitoring device to induce and salient the monitoring event based on the monitoring event salience information;
A monitoring device characterized in that, when the communication unit of the server receives the monitored event salience information, the communication unit controls the drive unit of the mobile monitoring device via the communication unit based on the monitored event salience information, thereby controlling the mobile monitoring device to induce and salient the monitored event.
前記移動監視装置が、
ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイド部をさらに有し、
前記駆動部が、
前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる、
ことを特徴とする、監視装置。 2. The monitoring device according to claim 1,
The mobile monitoring device,
The guide portion is movably supported, placed or suspended on the guide rail and is guided along the guide rail;
The drive unit is
The device is moved along the guide rail while being supported, placed or suspended on the guide rail.
A monitoring device comprising:
前記移動監視装置の前記駆動部が、
自走式である、
ことを特徴とする、監視装置。 2. The monitoring device according to claim 1,
The drive unit of the mobile monitoring device is
It is self-propelled,
A monitoring device comprising:
前記サーバが、
多数の画像と、該画像の少なくとも一部に関連付けられた監視事象とを格納する記憶部と、
前記監視部が、
設定された監視事象が、発生しているか否かを監視するにあたって、ＡＩ技法を用いて、前記記憶部を参照して、前記設定された監視事象が、発生しているか否かを監視する、
ことを特徴とする、監視装置。 The monitoring device according to any one of claims 1 to 3,
The server,
a memory unit for storing a number of images and monitored events associated with at least some of the images;
The monitoring unit,
When monitoring whether a set monitoring event has occurred, an AI technique is used to refer to the storage unit and monitor whether the set monitoring event has occurred.
A monitoring device comprising:
前記監視事象顕著化情報が、
給餌情報、侵入者威嚇情報、臭い情報、光情報、開口部開閉情報、および、空調設定情報からなる群から選択される１つ以上のものである、
ことを特徴とする、監視装置。 2. The monitoring device according to claim 1,
The monitored event salience information is
One or more information selected from the group consisting of feeding information, intruder scare information, odor information, light information, opening/closing information, and air conditioning setting information.
A monitoring device comprising:
前記移動監視装置が、
前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生手段をさらに有する、
ことを特徴とする、監視装置。 6. The monitoring device according to claim 1,
The mobile monitoring device,
The monitoring event prominent situation generating means further includes a monitoring event prominent situation generating means for generating a situation of the monitoring event prominent situation information.
A monitoring device comprising:
前記移動監視装置が、
赤外線画像を撮像する赤外線カメラを、さらに有し、
前記移動監視装置の前記通信部が、
前記赤外線画像を、前記サーバにさらに送信し、
前記サーバの通信部が、
前記赤外線画像をさらに受信し、
前記サーバの監視部が、
前記監視事象が発生したとき、前記赤外線画像に基づき、監視事象の対象物の温度を計測し、所定の温度と比較して、監視事象の発生を確定する、
ことを特徴とする、監視装置。 The monitoring device according to any one of claims 1 to 6,
The mobile monitoring device,
An infrared camera for capturing an infrared image,
The communication unit of the mobile monitoring device
further transmitting the infrared image to the server;
A communication unit of the server,
further receiving the infrared image;
A monitoring unit of the server,
When the monitored event occurs, measure the temperature of the object of the monitored event based on the infrared image, and compare it with a predetermined temperature to determine the occurrence of the monitored event;
A monitoring device comprising:
前記監視事象は、前記鶏舎内の鶏が、所定時間以上動きがないことである
請求項１に記載の監視装置。 The monitoring target is a chicken coop,
The monitoring device according to claim 1 , wherein the monitoring event is that the chickens in the chicken coop are motionless for a predetermined period of time or longer.
前記監視事象は、前記鶏舎内の鶏が、所定時間以上動きがないことであり、
前記監視事象顕著化状況発生手段は、前記鶏を刺激する回転灯、前記鶏を刺激する鶏舎打撃棒、餌の臭いを発生する手段、及び前記鶏のオスの臭いを発生する手段のいずれかである
請求項６記載の監視装置。 The monitoring target is a chicken coop,
The monitored event is that the chickens in the chicken house are not moving for a predetermined period of time or more,
The monitoring device according to claim 6, wherein the monitoring event conspicuous situation generating means is any one of a rotating light for stimulating the chickens, a chicken coop striking stick for stimulating the chickens, a means for emitting the odor of feed, and a means for emitting the odor of male chickens.
前記移動監視装置が、画像を撮像する撮像ステップと、
前記移動監視装置が、ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイドステップと、
前記移動監視装置が、自装置を移動させる駆動ステップと、
前記移動監視装置が、前記移動監視装置の位置を取得する取得ステップと、
前記移動監視装置が、前記移動監視装置の位置と、当該位置における画像とを含む、監視情報を無線または有線の通信手段を介して、前記サーバに送信する通信ステップと、
前記サーバが、前記移動監視装置から、前記移動監視装置の位置と、当該位置における画像とを含む、前記監視情報を受信する通信ステップと、
前記サーバが、監視対象の監視事象を設定する監視事象設定ステップと、
前記サーバが、前記画像において、設定された監視事象が、発生しているか否かを監視する監視ステップと、
前記サーバが、前記監視事象が発生したとき、警報を出力する出力ステップと、
前記移動監視装置が、監視事象顕著化情報を受信したとき、前記監視事象顕著化情報に基づき、前記監視事象を誘発して顕著化させるよう自装置の移動を制御し、
前記サーバが、前記監視事象顕著化情報を受信したとき、前記監視事象顕著化情報に基づき、前記監視事象を誘発して顕著化させるよう前記移動監視装置を制御する、制御ステップと、
を有する
ことを特徴とする、監視方法。 A monitoring method using a mobile monitoring device and a server, comprising:
an imaging step in which the mobile monitoring device captures an image;
a guide step in which the movement monitoring device is movably supported, placed, or suspended on a guide rail and guided along the guide rail;
a driving step of the mobile monitoring device moving the device itself;
an acquisition step in which the mobile monitoring device acquires a location of the mobile monitoring device;
a communication step in which the mobile monitoring device transmits monitoring information including a position of the mobile monitoring device and an image at the position to the server via a wireless or wired communication means;
a communication step in which the server receives the monitoring information from the mobile monitoring device, the monitoring information including a location of the mobile monitoring device and an image at the location;
a monitoring event setting step in which the server sets a monitoring event of a monitoring target;
a monitoring step in which the server monitors whether a set monitoring event occurs in the image;
an output step of the server outputting an alarm when the monitored event occurs;
When the mobile monitoring device receives the monitoring event salience information, the mobile monitoring device controls the movement of the device based on the monitoring event salience information so as to induce and salient the monitoring event;
a control step of controlling the mobile monitoring device to induce and accentuate the monitoring event based on the monitoring event accentuation information when the server receives the monitoring event accentuation information;
A monitoring method comprising:
前記移動監視装置が、ガイドレールに移動可能に支持、載置、または、懸架され、かつ、該ガイドレールに沿ってガイドされるガイドステップと、
前記移動監視装置が、前記ガイドレールに支持、載置、または、懸架されながら、該ガイドレールに沿って、自装置を移動させる駆動ステップと、
をさらに有する、
ことを特徴とする、監視方法。 13. The monitoring method according to claim 12,
a guide step in which the movement monitoring device is movably supported, placed, or suspended on a guide rail and guided along the guide rail;
a driving step of moving the movement monitoring device along the guide rail while being supported, placed or suspended on the guide rail;
Further comprising
A monitoring method comprising:
前記移動監視装置が、自走式である、
ことを特徴とする、監視装置。 13. The monitoring method according to claim 12,
The mobile monitoring device is self-propelled.
A monitoring device comprising:
前記サーバが、多数の画像と、該画像の少なくとも一部に関連付けられた監視事象とを記憶部に格納する記憶ステップと、
設定された監視事象が、発生しているか否かを監視するにあたって、ＡＩ技法を用いて、前記記憶部を参照して、前記設定された監視事象が、発生しているか否かを監視するステップと、
をさらに有する、ことを特徴とする、監視方法。 The monitoring method according to any one of claims 12 to 14,
a storage step in which the server stores in a storage unit a number of images and monitored events associated with at least some of the images;
In monitoring whether a set monitoring event occurs, an AI technique is used to refer to the storage unit to monitor whether the set monitoring event occurs;
The monitoring method further comprising:
前記監視事象顕著化情報が、
給餌情報、侵入者威嚇情報、臭い情報、光情報、開口部開閉情報、および、空調設定情報からなる群から選択される１つ以上のものである、
ことを特徴とする、監視方法。 The monitoring method according to any one of claims 12 to 15,
The monitored event salience information is
One or more information selected from the group consisting of feeding information, intruder scare information, odor information, light information, opening/closing information, and air conditioning setting information.
A monitoring method comprising:
前記移動監視装置が、前記監視事象顕著化情報の状況を発生させる監視事象顕著化状況発生ステップをさらに有する、
ことを特徴とする、監視方法。 The monitoring method according to any one of claims 12 to 16,
The mobile monitoring device further includes a monitoring event salience situation generating step of generating a situation of the monitoring event salience information.
A monitoring method comprising:
前記移動監視装置が、赤外線カメラを用いて、赤外線画像を撮像する赤外線撮像ステップを、さらに有し、
前記移動監視装置が、前記赤外線画像を、前記サーバにさらに送信する送信ステップと、
前記サーバが前記赤外線画像をさらに受信する受信ステップと、
前記サーバが、前記監視事象が発生したとき、前記赤外線画像に基づき、監視事象の対象物の温度を計測し、所定の温度と比較して、監視事象の発生を確定する、確定ステップと、
をさらに有する、ことを特徴とする、監視方法。 The monitoring method according to any one of claims 12 to 17,
The mobile monitoring device further includes an infrared imaging step of capturing an infrared image using an infrared camera,
a transmitting step in which the mobile monitoring device further transmits the infrared image to the server;
a receiving step in which the server further receives the infrared image;
a determination step in which the server measures a temperature of an object of the monitored event based on the infrared image when the monitored event occurs, and compares the measured temperature with a predetermined temperature to determine the occurrence of the monitored event;
The monitoring method further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023020503A JP7406746B2 (en) | 2017-11-30 | 2023-02-14 | Monitoring device, monitoring program, storage medium, and monitoring method |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017231062 | 2017-11-30 | ||
| JP2017231062 | 2017-11-30 | ||
| JP2018102892 | 2018-05-29 | ||
| JP2018102892 | 2018-05-29 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023020503A Division JP7406746B2 (en) | 2017-11-30 | 2023-02-14 | Monitoring device, monitoring program, storage medium, and monitoring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019208197A JP2019208197A (en) | 2019-12-05 |
| JP7503258B2 true JP7503258B2 (en) | 2024-06-20 |
Family
ID=68768693
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018221751A Active JP7503258B2 (en) | 2017-11-30 | 2018-11-27 | Monitoring device, monitoring program, storage medium, and monitoring method |
| JP2023020503A Active JP7406746B2 (en) | 2017-11-30 | 2023-02-14 | Monitoring device, monitoring program, storage medium, and monitoring method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023020503A Active JP7406746B2 (en) | 2017-11-30 | 2023-02-14 | Monitoring device, monitoring program, storage medium, and monitoring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7503258B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020111810A1 (en) * | 2020-04-30 | 2021-11-04 | Volocopter Gmbh | Method for operating an aircraft, flight control system for an aircraft and aircraft with such |
| JP7415912B2 (en) * | 2020-12-23 | 2024-01-17 | 横河電機株式会社 | Apparatus, system, method and program |
| CN113938609B (en) * | 2021-11-04 | 2023-08-22 | 中国联合网络通信集团有限公司 | Regional monitoring method, device and equipment |
| CN117857925B (en) * | 2024-03-08 | 2024-05-28 | 杭州同睿工程科技有限公司 | IGV-based concrete prefabricated part image acquisition method and related equipment |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002092761A (en) | 2000-09-12 | 2002-03-29 | Toshiba Tec Corp | Movement monitoring system |
| JP2002157664A (en) | 2000-11-21 | 2002-05-31 | Mitsubishi Heavy Ind Ltd | Monitor system |
| JP2005253189A (en) | 2004-03-03 | 2005-09-15 | Chugoku Electric Power Co Inc:The | Distribution line patrol system and method |
| JP2006099726A (en) | 2004-09-03 | 2006-04-13 | Tcm Corp | Automated guided facility |
| JP2008160496A (en) | 2006-12-25 | 2008-07-10 | Hitachi Ltd | Monitoring system |
| JP2010072831A (en) | 2008-09-17 | 2010-04-02 | Fuji Security Systems Co Ltd | Security robot |
| JP2010517527A (en) | 2007-02-06 | 2010-05-27 | マースランド エヌ・ヴィ | Feeding wagon for feeding cattle and other animals |
| JP2012244904A (en) | 2011-05-25 | 2012-12-13 | Orion Machinery Co Ltd | Cow number managing method for milking system |
| JP2016086237A (en) | 2014-10-23 | 2016-05-19 | 協立電子工業株式会社 | Server device and method |
| JP2017505639A (en) | 2014-02-17 | 2017-02-23 | エクソラオ・ソチエタ・ア・レスポンサビリタ・リミタータＥｘｏｒａｏ Ｓ．Ｒ．Ｌ． | Dead animal detection device in breeding ground and dead animal detection method using the device |
| JP2017111660A (en) | 2015-12-17 | 2017-06-22 | 日本電信電話株式会社 | Video pattern learning device, method and program |
| WO2017119250A1 (en) | 2016-01-08 | 2017-07-13 | 株式会社Ｓｃｒｅｅｎホールディングス | Flaw detection device and flaw detection method |
| JP2019201578A (en) | 2018-05-22 | 2019-11-28 | Ｎｅｃソリューションイノベータ株式会社 | Dead bird estimation device, dead bird estimation method, program and recording medium |
| JP2019205425A (en) | 2018-05-24 | 2019-12-05 | 大豊産業株式会社 | Dead chicken sensing system, chicken life or death determination program, and chicken life or death determination device |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0765152A (en) * | 1993-08-31 | 1995-03-10 | Babcock Hitachi Kk | Device and method for monitoring |
| JPH11120458A (en) * | 1997-10-14 | 1999-04-30 | Hitachi Eng & Service Co Ltd | Fire detector |
| JP3387816B2 (en) * | 1998-03-27 | 2003-03-17 | シャープ株式会社 | Remote control system |
| JPH11276011A (en) * | 1998-03-31 | 1999-10-12 | Kubo Systems:Kk | Carcass detection in henhouse and device therefor |
| WO2017134909A1 (en) | 2016-02-03 | 2017-08-10 | ソニー株式会社 | Information processing device, information processing method, and program |
| ITUB20160741A1 (en) | 2016-02-15 | 2017-08-15 | Officine Facco & C S P A | INSPECTION AND MONITORING SYSTEM FOR ZOOTECHNICAL AND IN PARTICULAR BREEDING PLANTS FOR AVICOLO BREEDING |
-
2018
- 2018-11-27 JP JP2018221751A patent/JP7503258B2/en active Active
-
2023
- 2023-02-14 JP JP2023020503A patent/JP7406746B2/en active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002092761A (en) | 2000-09-12 | 2002-03-29 | Toshiba Tec Corp | Movement monitoring system |
| JP2002157664A (en) | 2000-11-21 | 2002-05-31 | Mitsubishi Heavy Ind Ltd | Monitor system |
| JP2005253189A (en) | 2004-03-03 | 2005-09-15 | Chugoku Electric Power Co Inc:The | Distribution line patrol system and method |
| JP2006099726A (en) | 2004-09-03 | 2006-04-13 | Tcm Corp | Automated guided facility |
| JP2008160496A (en) | 2006-12-25 | 2008-07-10 | Hitachi Ltd | Monitoring system |
| JP2010517527A (en) | 2007-02-06 | 2010-05-27 | マースランド エヌ・ヴィ | Feeding wagon for feeding cattle and other animals |
| JP2010072831A (en) | 2008-09-17 | 2010-04-02 | Fuji Security Systems Co Ltd | Security robot |
| JP2012244904A (en) | 2011-05-25 | 2012-12-13 | Orion Machinery Co Ltd | Cow number managing method for milking system |
| JP2017505639A (en) | 2014-02-17 | 2017-02-23 | エクソラオ・ソチエタ・ア・レスポンサビリタ・リミタータＥｘｏｒａｏ Ｓ．Ｒ．Ｌ． | Dead animal detection device in breeding ground and dead animal detection method using the device |
| JP2016086237A (en) | 2014-10-23 | 2016-05-19 | 協立電子工業株式会社 | Server device and method |
| JP2017111660A (en) | 2015-12-17 | 2017-06-22 | 日本電信電話株式会社 | Video pattern learning device, method and program |
| WO2017119250A1 (en) | 2016-01-08 | 2017-07-13 | 株式会社Ｓｃｒｅｅｎホールディングス | Flaw detection device and flaw detection method |
| JP2019201578A (en) | 2018-05-22 | 2019-11-28 | Ｎｅｃソリューションイノベータ株式会社 | Dead bird estimation device, dead bird estimation method, program and recording medium |
| JP2019205425A (en) | 2018-05-24 | 2019-12-05 | 大豊産業株式会社 | Dead chicken sensing system, chicken life or death determination program, and chicken life or death determination device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7406746B2 (en) | 2023-12-28 |
| JP2019208197A (en) | 2019-12-05 |
| JP2023075095A (en) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7503258B2 (en) | Monitoring device, monitoring program, storage medium, and monitoring method | |
| US11054504B2 (en) | Avian detection system | |
| CN108615321A (en) | Security pre-warning system and method based on radar detecting and video image behavioural analysis | |
| JP2021182225A (en) | Monitoring device, monitoring program, storage medium, and monitoring method | |
| KR101543542B1 (en) | Intelligent surveillance system and method of monitoring using the same | |
| US20130128054A1 (en) | System and Method for Controlling Fixtures Based on Tracking Data | |
| WO2020248458A1 (en) | Information processing method and apparatus, and storage medium | |
| US10134140B2 (en) | Monitor system | |
| US10706696B1 (en) | Security system with distributed sensor units and autonomous camera vehicle | |
| EP3374925B1 (en) | Image processing system | |
| CN112969977A (en) | Catching auxiliary method, ground command platform, unmanned aerial vehicle, system and storage medium | |
| EP3655648A1 (en) | System recording the collisions of flying animals with wind turbines, its application and manner of recording collisions of flying animals with wind turbines with the use of the system | |
| CN110807345A (en) | Building evacuation method and building evacuation system | |
| Mutalib et al. | Feasibility of thermal imaging using unmanned aerial vehicles to detect Bornean orangutans | |
| EP3839908A1 (en) | Close object detection for surveillance cameras | |
| US10699583B2 (en) | Method for flight path planning of unmanned aerial vehicles using flying routes of birds | |
| JP6775981B2 (en) | Surveillance system and object detection device | |
| EP3965415A1 (en) | Information processing device, method, and program | |
| US20180233008A1 (en) | A method guarding an object or area, a guarding unit and a computer program product | |
| JP6904723B2 (en) | Monitoring system | |
| CN210270624U (en) | Unmanned aerial vehicle fire control patrol system | |
| JP7219820B2 (en) | SPATIAL SENSING SYSTEM AND SPATIAL SENSING METHOD | |
| JP7199894B2 (en) | Flying robots and surveillance systems | |
| US11882813B2 (en) | Wildlife tracking system | |
| JP7387060B1 (en) | Airfield monitoring device, airfield monitoring method, and airfield monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211029 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220527 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231023 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20231019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240529 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240530 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7503258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |