JP7005026B2 - Object recognition device - Google Patents
Object recognition device Download PDFInfo
- Publication number
- JP7005026B2 JP7005026B2 JP2019091537A JP2019091537A JP7005026B2 JP 7005026 B2 JP7005026 B2 JP 7005026B2 JP 2019091537 A JP2019091537 A JP 2019091537A JP 2019091537 A JP2019091537 A JP 2019091537A JP 7005026 B2 JP7005026 B2 JP 7005026B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- repulsion
- animal
- recognition
- management server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Catching Or Destruction (AREA)
- Alarm Systems (AREA)
Description
この発明はカメラに映った画像、映像から動物、鳥、などの物体を認識し、認識結果より、警告の発生や撃退手段の作動を行う技術に関するものである。 The present invention relates to a technique for recognizing an object such as an animal or a bird from an image or an image captured by a camera, and generating a warning or operating a repelling means based on the recognition result.
近年、熊や猿あるいは猪や野良犬などが住宅地に出没し、人に危害を与えるなどの被害が続出している。このため、その種の危険動物が住宅地に侵入する前に、その存在を検知し、住民に迅速に知らせることが重要であり、それらの動物が住宅地に侵入してくる前に撃退することがより望まれることである。 In recent years, bears, monkeys, ingots, stray dogs, etc. have infested residential areas, causing damage such as harm to humans. For this reason, it is important to detect the presence of such dangerous animals and promptly inform the inhabitants before they invade the residential area, and to repel them before they invade the residential area. Is more desired.
物体を認識する技術は、人を認識する技術が、自動運転の車が必要とする重要な機能であるため、開発が活発であり、先行技術文献１（特開2019－12304号公報）には、移動する物体として人体の検出のため、関節を認識しながら骨格の動きを検出する技術が開示されている。 The technology for recognizing an object is actively developed because the technology for recognizing a person is an important function required by an automatically driven vehicle. For the detection of the human body as a moving object, a technique for detecting the movement of the skeleton while recognizing a joint is disclosed.
一方、野生動物の検出には、猿、熊、鹿などの動物に首輪を装着させ、首輪から発する電波を受信し、検出する方法が多用されている。 On the other hand, in order to detect wild animals, a method is often used in which animals such as monkeys, bears, and deer are made to wear a collar and receive radio waves emitted from the collar to detect them.
また野生動物の生息地に、撃退機を設置することも行われているが、野生動物が、本来の生息地から住宅地へと移動する経路途中で野生動物の存在を認識し、生息地に戻るような処置が、人手を介さず、自動的に採れることが望まれることである。 In addition, repellents have been installed in wildlife habitats, but wild animals recognize the existence of wild animals on the way from their original habitat to residential areas and become habitats. It is hoped that the return procedure can be taken automatically without human intervention.
撮像デバイス（カメラ）で、得られた映像を分析し、熊や猪や猿の存在を認識し、認識された動物に対応した警報を発したり、撃退手段を作動したりするとともに、自治体などの管理サーバを介して、撃退部隊や近隣住民などに連絡する。 An image pickup device (camera) analyzes the obtained image, recognizes the existence of bears, ingots, and monkeys, issues an alarm corresponding to the recognized animal, activates repulsion means, and also works with local governments. Contact the repulsion unit and neighboring residents via the management server.
熊や猪や犬や猿など、認識しようとする物体の特徴を示すパターンを、物体毎に、データベース化しカメラ画像から抽出された物体が人でないと判断したのち、検出したい物体群のデータベースを検索し、一致するパターンを見つけ、そのパターンの動物と判定する。このデータベースは、本装置に追加可能で、野生動物だけでなくカラスや鳩など、検出したい物体のカテゴリを自由に拡大することができる。また、動物の存在が確認されたら警報を発するとともにレーザ光や超音波を発生させ撃退するとともに、撃退効果（退散したか、静止のままか、接近してきたか）を、映像信号より判定し、認識撃退履歴を管理しておく。 Patterns showing the characteristics of objects to be recognized, such as bears, ingots, dogs, and monkeys, are created in a database for each object, and after determining that the object extracted from the camera image is not a human, the database of the object group to be detected is searched. Then, it finds a matching pattern and determines that it is an animal with that pattern. This database can be added to this device, and you can freely expand the categories of objects you want to detect, such as crows and pigeons, as well as wild animals. In addition, when the presence of an animal is confirmed, an alarm is issued and a laser beam or ultrasonic wave is generated to repel the animal, and the repulsive effect (whether it has dissipated, remains stationary, or is approaching) is judged from the video signal and recognized. Manage the repulsion history.
本装置を、住宅地の境界などに設置することで、熊、猿、野良犬、猪など野生動物が、本来の生息地から住宅地に接近してくる模様が事前に分かり、そのことを住民に警報連絡するとともに、動物を退散させることも可能で、かつ、退散のために採った手段を、管理サーバで情報共有し、より効果的な退散方法を、通信によって、本装置にロードすることで、退散能力をより強化できる。 By installing this device at the boundary of a residential area, it is possible to know in advance that wild animals such as bears, monkeys, stray dogs, and ino will approach the residential area from their original habitat, and this will be known to the residents. It is possible to notify the alarm and disperse the animals, and by sharing the information taken by the management server with the measures taken for the dispersal, and loading a more effective dispersal method into this device by communication. , The ability to disperse can be further strengthened.
近年、宅地開発が進むなどの理由で、山林に生息する猿、猪、熊、鹿などの野生動物が、食料を求めてか住宅地や人や商店の多い観光地に出没するなど、住民が受ける被害が大きな社会問題となってきている。このため、生息地と住宅地の間に高圧電線を張るなどの対策が採られているが、万全ではない。 In recent years, due to the progress of residential land development, wild animals such as monkeys, wild boars, bears, and deer that live in mountain forests have appeared in residential areas and tourist spots with many people and shops in search of food. The damage suffered has become a major social problem. For this reason, measures such as installing high-voltage power lines between habitats and residential areas have been taken, but they are not perfect.
本発明においては、野生動物の生息地と住宅地の間にカメラを設置し、カメラ画像（静止画や動画）を分析し野生動物を認識するための物体認識装置（以下、「本装置」という）が提供される。本装置は、住宅地の境界道路に沿って建てられている電柱や信号機や防犯用監視カメラに付属的に設置されてもよい。また農地、あるいは、山間部での適当な箇所に設置されてもよい。 In the present invention, an object recognition device for recognizing wild animals by installing a camera between the habitat of wild animals and a residential area and analyzing camera images (still images and moving images) (hereinafter referred to as "this device"). ) Is provided. This device may be attached to a utility pole, a traffic light, or a security surveillance camera built along a boundary road in a residential area. It may also be installed on agricultural land or in an appropriate place in a mountainous area.
本発明を実施するための形態として、スタンドアロン型の物体認識装置単独あるいは、通信網を介してサーバと連携したシステム構成があるが、野生動物を認識するケースを例に、物体認識装置のシステム構成について以下説明する。 As a mode for carrying out the present invention, there is a system configuration of a stand-alone object recognition device alone or in cooperation with a server via a communication network, but a system configuration of an object recognition device is taken as an example of a case of recognizing a wild animal. Will be described below.
図1は、本装置の全体構成を示す図である。図において、1はカメラで、ズーム１（１a）を内蔵している。２は認識部、3は表示・警報部、４は撃退部、５は回転駆動部、６は認識・撃退履歴管理部、７は時計、８は通信部、９は通信網、10は管理サーバ、１１は装置ID符号部、１２はGPS部、１３はUSB端子である。本装置は、個々に固有のID符号が付与されている。またGPS部１２は、設置場所のGPS情報を管理しているが、本装置にGPS受信機を具備することは必ずしも必要ではなく、設置作業時に設置者の所有するGPS受信機能付き携帯電話などからGPS情報を得て、その情報を、後記する設置管理ツールを用いて、USB端子１３より本装置に転送してもよい。 FIG. 1 is a diagram showing the overall configuration of this device. In the figure, 1 is a camera and has a built-in zoom 1 (1a). 2 is a recognition unit, 3 is a display / alarm unit, 4 is a repulsion unit, 5 is a rotation drive unit, 6 is a recognition / repulsion history management unit, 7 is a clock, 8 is a communication unit, 9 is a communication network, and 10 is a management server. , 11 is a device ID code unit, 12 is a GPS unit, and 13 is a USB terminal. This device is individually assigned a unique ID code. Further, although the GPS unit 12 manages the GPS information of the installation location, it is not always necessary to equip the device with a GPS receiver, and the installer owns a mobile phone with a GPS reception function during the installation work. GPS information may be obtained and the information may be transferred to the present device from the USB terminal 13 by using the installation management tool described later.
図1における表示・警報部３は、図２aに示すように、表示・警報手段選択部３a,表示・警報強度選択部３b、表示・警報器３c、表示・警報設定メニュ部３dを有し、表示・警報手段としての回転灯やスピーカなどは、図示しないが表示・警報器３ｃ内にある。表示手段としては、警察のパトカーで表示されるような、黄色や青色の回転灯の駆動やLEDの点滅のほかに、液晶表示部を用いて、認識部での認識結果を言葉で表示することができる。 As shown in FIG. 2a, the display / alarm unit 3 in FIG. 1 has a display / alarm means selection unit 3a, a display / alarm intensity selection unit 3b, a display / alarm device 3c, and a display / alarm setting menu unit 3d. A rotating light, a speaker, and the like as display / alarm means are included in the display / alarm 3c, although not shown. As a display means, in addition to driving yellow and blue rotating lights and blinking LEDs as displayed on police police cars, the recognition result on the recognition unit is displayed in words using the liquid crystal display unit. Can be done.
図1における撃退部４は図２bに示すように撃退手段選択部４a、撃退強度選択部４b、撃退器４c、撃退設定メニュ部４dを有す。撃退器４ｃの撃退手段として、図示しないが、レーザ発光器や超音波発生器はその内部にある。また、レーザ発光器は、図示しないがレーザ光の照射を回転させるための回転駆動機構も具備している。 As shown in FIG. 2b, the repulsion unit 4 in FIG. 1 has a repulsion means selection unit 4a, a repulsion strength selection unit 4b, a repulsion device 4c, and a repulsion setting menu unit 4d. Although not shown, a laser emitter and an ultrasonic generator are inside the repellent 4c as a means of repelling the repellent 4c. Further, although not shown, the laser light emitter also includes a rotation drive mechanism for rotating the irradiation of the laser beam.
カメラ１は、ズーム１aを内蔵し、ズーム比率は、カメラが物体をより認識しやすいように、認識部２から認識状況によって指示される。カメラ1の出力は認識部２で、画像（静止画、動画）から、被写体の中に、何の野生動物がいるかが認識される。カメラ1の撮影角度は、認識部２から回転駆動部５へ角度変更の指示がなされることで変更される。 The camera 1 has a built-in zoom 1a, and the zoom ratio is instructed by the recognition unit 2 according to the recognition status so that the camera can more easily recognize the object. The output of the camera 1 is the recognition unit 2, which recognizes what wild animals are in the subject from the images (still images, moving images). The shooting angle of the camera 1 is changed by instructing the rotation drive unit 5 to change the angle from the recognition unit 2.
認識部２で、野生動物が認識されたら、認識された動物名が表示・警報部３、撃退部４、通信部８、認識・撃退履歴管理部６に知らされる。 When the recognition unit 2 recognizes a wild animal, the recognized animal name is notified to the display / warning unit 3, the repulsion unit 4, the communication unit 8, and the recognition / repulsion history management unit 6.
表示・警報部３では、認識された野生動物の種類（熊か猿か、猪か、鹿か、犬か等）に応じて、表示・警報部３の表示・警報メニュ部３dに、予め設定されている設定メニュにしたがい、表示手段、警報手段、と表示警報強度が選択され、表示・警報器３cが駆動される。表1は設定メニュの例を示すが、熊は人を死に至らせる可能性大なので、回転灯を点灯し、強い強度で照らし、警報音も超緊急を感じさせる音とし、警報強度、つまり音量を最高レベルに大きくする。猿は熊ほど人に対する危害性がないので、ランプを点滅、強度は普通、警報音も、緊急性をそれほど感じない普通の警報音、音量も中とする。 The display / alarm unit 3 presets the display / alarm menu unit 3d of the display / alarm unit 3 according to the type of recognized wild animal (bear or monkey, ino, deer, dog, etc.). The display means, the alarm means, and the display alarm intensity are selected according to the set menu, and the display / alarm device 3c is driven. Table 1 shows an example of the setting menu, but since bears have a high possibility of causing death, the rotating light is turned on and illuminated with a strong intensity, and the alarm sound is also a sound that makes you feel super urgent, that is, the alarm intensity, that is, the volume. To the highest level. Since monkeys are not as harmful to humans as bears, the lamps are blinking, the intensity is normal, the alarm sound is normal, the alarm sound is not so urgent, and the volume is medium.
また、撃退部４では、認識された野生動物の種類（熊か猿か、猪か、鹿か、犬か等）に応じて、撃退設定メニュ部４dに、予め設定されている設定メニュにしたがい、撃退手段、撃退強度が選択され、撃退器４cが駆動される。撃退手段の中でレーザ光の照射があるが、その場合、照射を回転的に行ったり、ある方向をめがけて直射的に行ったりする。 In addition, in the repulsion section 4, according to the type of wild animal recognized (bear or monkey, boar, deer, dog, etc.), the setting menu set in advance in the repulsion setting menu section 4d is followed. , Repulsion means, repulsion strength are selected, and the repellent device 4c is driven. Among the repelling means, there is irradiation of laser light, but in that case, the irradiation is performed rotationally or directly toward a certain direction.
表２は設定メニュの例を示すが、猪は人を襲うこともあり、怪我を引き起こす可能性があり、レーザ光で撃退し、かつ移動速度が速いのでレーザ光を回転させ、広範囲に照射するとともに、レーザ光の強度も強くする必要がある。熊は、猪より動きはスローであるが、レーザ光は、回転というより熊のいる方向に向けた直射的な照射が望ましいだろう。猪、熊とも迅速な撃退で退散させることが必要である一方、猿は、人を死に至らせるほどのことはなく、超音波発信により退散できる方が望ましい。 Table 2 shows an example of the setting menu, but the wild boar can attack people and can cause injuries, it is repelled by the laser beam, and since it moves fast, the laser beam is rotated and irradiated over a wide area. At the same time, it is necessary to increase the intensity of the laser beam. Bears move slower than wild boars, but it is preferable that the laser beam be directed directly in the direction of the bear rather than rotating. While both wild boars and bears need to be quickly repelled, monkeys are not deadly and should be able to disperse by ultrasonic waves.
このような撃退手段の実行と同時に、カメラ１で、動物の退散状況を認識し、退散効果を認識しながら強度調整を行うことも必要で、常時、認識部2の出力を見ながら撃退部４の動作が制御される。 At the same time as the execution of such repulsion means, it is also necessary to recognize the dispersal status of the animal with the camera 1 and adjust the intensity while recognizing the dispersal effect. Operation is controlled.
このような、動物認識結果や、撃退行為や撃退効果は、認識・撃退履歴管理部６で管理されていて、その管理テーブルの例は表３に示される。表３には襲撃効果として、退散、静止、接近の言葉が書かれているが、その判断法については後記する。表３の管理テーブルの情報は、動物が認識される都度、通信部８により、通信網９を介して、管理サーバ１０に届けられる。表３の管理テーブルは、半日あるいは一日分の履歴として届けられても良い。 Such animal recognition results, repulsion actions, and repulsion effects are managed by the recognition / repulsion history management unit 6, and an example of the management table is shown in Table 3. Table 3 describes the words of dispersal, stillness, and approach as the attack effect, and the judgment method will be described later. The information in the management table in Table 3 is delivered to the management server 10 by the communication unit 8 via the communication network 9 each time an animal is recognized. The management table in Table 3 may be delivered as a half-day or full-day history.
なお、管理テーブルの日時は、Y、M、D、H、M、S (Y年M月D日H時M分S秒)と秒単位で管理されている。 The date and time of the management table are managed in seconds such as Y, M, D, H, M, and S (Y year M month D day H hour M minute S second).
表３の管理テーブルが管理サーバに届けられると、管理サーバ(一般的には市町村の自治体)では、しかるべき対応を採り、近隣住民へ「ただいま、近くで熊が発見されました。注意してください」とかのアナウンス車を出動させるとか、あるいは緊急連絡メールを送信したりするとかの方法で、近隣住民に連絡を行う。あわせて、捕獲隊員を出動させたり、本装置が具備する撃退手段より強固で、設置済みの威嚇専用機を稼働させたり、状況によってはドローンを飛行させ、ドローンが搭載しているカメラで動物の所在を詳細に確認したり、餌を撒くなどの処置を行う。表4は、これら管理サーバ１０が、採るべき対応を記述している。 When the management table in Table 3 was delivered to the management server, the management server (generally the municipality) took appropriate measures and told the neighbors, "I have just found a bear nearby. Please be careful. Contact the neighbors by dispatching an announcement car such as "Please" or by sending an emergency contact email. At the same time, you can dispatch capture crew members, operate a threatening aircraft that is stronger than the repulsion means equipped with this device, operate a drone depending on the situation, and use the camera mounted on the drone to fly animals. Check the location in detail and take measures such as sprinkling food. Table 4 describes the measures to be taken by these management servers 10.
表4にある自治体とは市町村のことであるが、管理サーバの運営を市町村が直接行っている場合は、この列は不要である。表４に示した管理サーバ１０のしかるべき対応は、電話連絡により各対応先に連絡したり、電子メールを使用した自動的な連絡、両者の併用でもよい。 The municipalities in Table 4 are municipalities, but this column is not necessary if the municipalities directly operate the management server. The appropriate response of the management server 10 shown in Table 4 may be contacting each corresponding party by telephone contact, automatic contact using e-mail, or a combination of both.
本装置を複数台設置し、自治体単位で一つの管理サーバが、複数個の本装置を管理するケースが基本的な形態である。図５aはその模様を示す。本発明の通信網９は、有線、無線を問わないが、こんにちでは、３G、４Gといわれる公衆無線通信網が普及しているので、本装置の設置の容易性から公衆無線通信網が便利であろう。なお、管理サーバ１０、と本装置の設置距離によっては、LPWA(Low Power Wide Area) のような自営の無線通信網を使用してもよい。 The basic form is that a plurality of this device is installed and one management server manages a plurality of this device in each municipality. FIG. 5a shows the pattern. The communication network 9 of the present invention may be wired or wireless, but since public wireless communication networks called 3G and 4G are widespread today, public wireless communication networks are available because of the ease of installation of this device. It will be convenient. Depending on the installation distance between the management server 10 and this device, a self-employed wireless communication network such as LPWA (Low Power Wide Area) may be used.
さらに、管理サーバ１０が受信した表３の履歴データと表４の行動結果については、複数の管理サーバで情報共有することが望ましい。管理サーバの規模が市町村レベルであるときは、県単位、あるいは地方単位（九州地方、北海道地方とか）、あるいは国単位で、情報共有することが必要で、図５bは、その模様を示している。図５bにおける通信網９は管理サーバ１０と統括管理サーバ３０とを接続するものであるが、管理サーバ１０と統括管理サーバ３０の設置場所は、離れている場合が多く、図５ｂの通信網としては、公衆的な通信網が使用されるだろう。図５bの統括管理サーバ３０は情報共有の源であり、ここでは、動物の出没状況、動物撃退の対策とその効果が一元管理され、特に撃退対策に有効な方法については、迅速に情報共有することが必要で、そのため、統括管理サーバ３０が管轄下にある管理サーバ１０のすべてを介して、設置されている本装置のすべてに対し、本装置における図２aの表示・警報設定メニュ部３ｄ、図２bの撃退設定メニュ部４dを、通信により自動的に書換えることができるようにしている。統括管理サーバ３０からの自動書換を受け入れるかどうかは、本装置の設置場所を管理していて、地域の状況を熟知している市町村の判断も必要であり、管理サーバ１０から、統括管理サーバ３０の指示によらない、その地域独自の設定メニュを送信することも可能である。なお、管理サーバの個々にはサーバIDが付与されていて、統括管理サーバ３０では、管理サーバ１０のIDと管理サーバ１０が管轄する装置IDとの関係については把握管理している。 Further, it is desirable to share information on the history data in Table 3 received by the management server 10 and the action results in Table 4 among a plurality of management servers. When the scale of the management server is at the municipal level, it is necessary to share information by prefecture, region (Kyushu region, Hokkaido region, etc.), or country unit, and Fig. 5b shows this pattern. .. The communication network 9 in FIG. 5b connects the management server 10 and the central management server 30, but the installation locations of the management server 10 and the central management server 30 are often separated from each other, and as the communication network of FIG. 5b. Will use a public communication network. The centralized management server 30 in FIG. 5b is a source of information sharing. Here, the infestation status of animals, countermeasures against animal repulsion and their effects are centrally managed, and information is quickly shared especially on effective methods for repulsion countermeasures. Therefore, the display / alarm setting menu unit 3d of FIG. 2a in the present device is used for all of the present devices in which the centralized management server 30 is installed through all the management servers 10 under the jurisdiction of the centralized management server 30. The repulsion setting menu part 4d in FIG. 2b can be automatically rewritten by communication. Whether or not to accept automatic rewriting from the central management server 30 requires the judgment of the municipality that manages the installation location of this device and is familiar with the local situation. From the management server 10, the central management server 30 It is also possible to send a setting menu unique to the area without following the instructions of. A server ID is assigned to each management server, and the centralized management server 30 grasps and manages the relationship between the ID of the management server 10 and the device ID under the jurisdiction of the management server 10.
表５は、本装置と管理サーバ１０、統括管理サーバ３０間での通信信号リストを示す。表５において、情報とは、通信する情報内容を表した表のこと（表３か表４）であり、信号形式とは、図６a、図６b、図６c、図６d、図６eのいずれかに示す信号形式である。 Table 5 shows a list of communication signals between the present device, the management server 10, and the central management server 30. In Table 5, the information is a table showing the content of information to be communicated (Table 3 or Table 4), and the signal format is any one of FIGS. 6a, 6b, 6c, 6d, and 6e. This is the signal format shown in.
図６a～図６eに示すコードとは、表５の信号種類を示すコードである。図６aの、装置IDとGPS情報、仕様（カメラの画素数や回転角度範囲など）の送信は、本装置の設置時に管理サーバ１０に連絡する。 The codes shown in FIGS. 6a to 6e are codes indicating the signal types in Table 5. The device ID, GPS information, and specifications (camera pixel count, rotation angle range, etc.) of FIG. 6a are transmitted to the management server 10 when the device is installed.
管理行為信号は表４の行動を連絡するもので、行動１、２、３、４は表４に示す、捕獲隊員の出動、近隣への連絡、ドローン出動、威嚇専用機駆動のことである。 The management action signal communicates the actions in Table 4, and actions 1, 2, 3, and 4 are the dispatch of capture crew members, contact with neighbors, dispatch of drones, and drive of threatening aircraft, as shown in Table 4.
もちろん、行動はこの表に記した以外のものもあろう。図６eのパターンモジュールについては後記する。 Of course, there may be actions other than those listed in this table. The pattern module of FIG. 6e will be described later.
次に、認識部２の動作について説明する。 Next, the operation of the recognition unit 2 will be described.
図３は認識部２の内部構成を示す。認識部２は、背景認識部２０、記憶部２１(２１a ズーム２を内蔵)、物体判別部２２、人判別部２３、推定部２５、判定部２４、回転司令部２６、２５a:パターン１、２５b:パターン2、２５c:パターン３、２５n:パターンｎ よりなる。 FIG. 3 shows the internal configuration of the recognition unit 2. The recognition unit 2 includes a background recognition unit 20, a storage unit 21 (with a built-in 21a zoom 2), an object discrimination unit 22, a person discrimination unit 23, an estimation unit 25, a determination unit 24, a rotation control unit 26, 25a: patterns 1, 25b. : Pattern 2, 25c: Pattern 3, 25n: Consists of pattern n.
本装置の設置時には、カメラを回転させながら、カメラに映った静止している物体（木や建物、住宅など）の画像を背景画像として、背景認識部２０に記憶させる。カメラの回転は、回転司令部２６が、図1の回転駆動部5を駆動することで、回転角度を20度単位で、マイナス８０度からプラス８０度まで回転させ、各々の角度での背景画像が背景認識部20に記憶されている。 At the time of installing this device, while rotating the camera, an image of a stationary object (tree, building, house, etc.) reflected by the camera is stored in the background recognition unit 20 as a background image. To rotate the camera, the rotation control unit 26 drives the rotation drive unit 5 in FIG. 1 to rotate the rotation angle in units of 20 degrees from -80 degrees to +80 degrees, and the background image at each angle. Is stored in the background recognition unit 20.
カメラで撮影された画像は、最初は、物体判別部２２で、背景画像にない物体を見つける。物体判別部２２で物体を見つけると、それが人であるかどうかを人判別部２３で判定する。人の判別は、2本の足、2つの手、首、顔よりなる人の骨格の特徴を掴みながら行う。人でないと判定されたら、動物であると推定する。動物であると推定されたら、２５a、２５b、２５c、・・・２５nに記憶されている動物パターンとの比較作業を始め、合致するパターンが見つかれば、物体はその動物であると判断し、その情報を判定部24に送る。このとき、見つかった動物の位置を求める計算を行う。画像の中の物体の大きさと背景画像の大きさをもとに動物のカメラからの距離を計算し動物の位置を求める。カメラの回転角度は、認識動作を始める時に分かっているので、動物のカメラからの角度、距離がわかる。なお、合致するパターンが見いだせないときは、記憶部２１から直前の画像を呼び出し再度合致を試みる。その時、必要によっては、ズーム２（21a）を駆動し、画像を拡大したりする。ここでの推定が終了すると、動物が認識できたかどうかに関わらず、回転駆動部５によりカメラを２０度回転させ、新たな撮影画像に対し、前記と同様に、背景認識、物体判別、人判別、推定、回転駆動を繰り返す。動物パターンは、猪、猿、熊などの動物の輪郭、色、骨格の情報、移動する（走る）時の骨格の動き情報が、各動物に応じて、２５aパターン１、２５ｂパターン２のように、記憶されている。 In the image taken by the camera, the object discrimination unit 22 first finds an object that is not in the background image. When the object determination unit 22 finds an object, the person identification unit 23 determines whether or not the object is a person. A person is identified by grasping the characteristics of the human skeleton consisting of two legs, two hands, a neck, and a face. If it is determined that it is not a human, it is presumed to be an animal. If it is presumed to be an animal, start the comparison work with the animal pattern stored in 25a, 25b, 25c, ... 25n, and if a matching pattern is found, it is judged that the object is the animal, and the object is judged to be the animal. Information is sent to the determination unit 24. At this time, a calculation is performed to find the position of the found animal. The distance from the animal's camera is calculated based on the size of the object in the image and the size of the background image, and the position of the animal is obtained. Since the rotation angle of the camera is known when the recognition operation is started, the angle and distance from the animal's camera can be known. If a matching pattern cannot be found, the immediately preceding image is called from the storage unit 21 and the matching is attempted again. At that time, if necessary, the zoom 2 (21a) is driven to enlarge the image. When the estimation here is completed, the camera is rotated by the rotation drive unit 5 by 20 degrees regardless of whether or not the animal can be recognized, and the background recognition, the object discrimination, and the human discrimination are performed on the newly captured image in the same manner as described above. , Estimate, and rotate drive are repeated. As for the animal pattern, the contour, color, and skeleton information of animals such as ino, monkey, and bear, and the movement information of the skeleton when moving (running) are as shown in 25a pattern 1 and 25b pattern 2 according to each animal. , Is remembered.
上記した一連の認識動作（背景認識、物体判別から判別までの動作）に、１００ミリ秒かかるとすると、カメラの回転は、１００ミリ秒ごとに回転することになり、マイナス８０度からプラス８０度まで、２０度ステップで回転し、約１秒周期で、左右回転することが出来る。ある角度で動物を発見したらしいと思ったとき、次の角度ではカメラのズーム1(１a)を調整し画像を拡大して、「動物らしい」を「動物だった」あるいは「動物でなかった」と判定することが出来る。このようなカメラの回転やズーム調整を行いながら、１００ミリ秒ごとに、「動物がいた」、「動物はいない」、「動物らしいものがいる」という結果を推定部２５が出力し判定部２４に伝える。判定部では、「動物がいた」という結果情報を８回連続受ければ、動物発見という判定を行う。 Assuming that the above-mentioned series of recognition operations (background recognition, operation from object discrimination to discrimination) takes 100 milliseconds, the camera rotates every 100 milliseconds, which is -80 degrees to +80 degrees. It can rotate in steps of 20 degrees, and can rotate left and right in a cycle of about 1 second. When I thought that I found an animal at a certain angle, I adjusted the camera zoom 1 (1a) at the next angle to enlarge the image, and changed "animal-like" to "animal" or "not an animal". Can be determined. While rotating the camera and adjusting the zoom in this way, the estimation unit 25 outputs the results of "there was an animal", "there is no animal", and "there is something like an animal" every 100 milliseconds, and the determination unit 24 Tell to. If the determination unit receives the result information that "there was an animal" eight times in a row, it determines that the animal has been found.
また、カメラの回転は、物体がカメラ画像の中央部に存在するときは回転は不要であり、回転することで物体がカメラ画像の端の方にずれるときは、次の回転は逆方向に回転させ、出来るだけ画像を認識し易くする。なお、上記の説明で、ズームはズーム１とズーム２とあるが、ズームは、いわゆる、光学ズーム、ズーム２は電子ズームである。 Also, the rotation of the camera does not require rotation when the object is in the center of the camera image, and when the object shifts toward the edge of the camera image due to rotation, the next rotation rotates in the opposite direction. Make the image as easy to recognize as possible. In the above description, the zoom is zoom 1 and the zoom 2, but the zoom is a so-called optical zoom and the zoom 2 is an electronic zoom.
動物がいたと判定されたときは、図１の認識・撃退履歴管理部６に、動物の名前と動物のカメラからの位置（距離と角度）を伝えると同時に、表示・警報部３と撃退部４にも伝える。表示・警報部３と撃退部４の動作は前記したとおりである。 When it is determined that there is an animal, the recognition / repulsion history management unit 6 in FIG. 1 is informed of the name of the animal and the position (distance and angle) of the animal from the camera, and at the same time, the display / warning unit 3 and the repulsion unit. Also tell 4. The operations of the display / alarm unit 3 and the repulsion unit 4 are as described above.
撃退後も、撃退効果を確認するため、前記した新たな発見と同様にカメラを回転させながら、動物の位置情報を認識・撃退履歴管理部６に伝える。認識・撃退履歴管理部６では、撃退後の動物の位置情報をもとに、動物が退散したのか、静止したまま動かないのか（たぶん、睡眠中）、住宅地に接近してきたのかの判断を行う。 Even after the repulsion, in order to confirm the repulsion effect, the position information of the animal is recognized and transmitted to the repulsion history management unit 6 while rotating the camera in the same manner as the above-mentioned new discovery. Based on the position information of the animal after the repulsion, the recognition / repulsion history management unit 6 determines whether the animal has dissipated, is still stationary (probably sleeping), or has approached a residential area. conduct.
前記したパターンは、設置時は、猿、猪、熊の三つのパターンを認識していたが、蛇が出没するようになったので、蛇の認識が必要と判断したとき、蛇パターンの追加が可能である。これらのパターンはソフトウエアモジュールであり、ソフトウエアモジュールの追加は、USB端子１３から認識部２にロードする方法や、管理サーバ１０から通信によってロードすることも可能である。表５、図６eに示すパターンモジュールはこのことを意味する。 At the time of installation, the above-mentioned pattern recognized three patterns of monkey, wild boar, and bear, but since snakes began to appear, when it was judged that snake recognition was necessary, a snake pattern was added. It is possible. These patterns are software modules, and the addition of the software module can be loaded from the USB terminal 13 to the recognition unit 2 or by communication from the management server 10. The pattern modules shown in Table 5 and FIG. 6e mean this.
本装置の動作は、図１のシステム構成で説明したが、前記したように、本装置はスタンドアロン型でも機能するものであり、この場合通信機能は不要で、図1における通信部８、通信網９、管理サーバ１０は必要ない。表４に示す管理サーバの機能（近隣住民への連絡、ドロン飛行指示、威嚇専用機の作動など）は、前記した表示・警報部３にある液晶表示部に表示される「猪発見」とかの言語を見て、本装置の保守管理者が、しかるべき対応・連絡をすることになる。なお、本装置は、保守管理の身長より高い場所に設置される可能性もあるので、液晶による言語表示に加え、発見された動物に応じた色別表示をＬＥＤなどを利用して行うことも必要である。 The operation of this device has been described in the system configuration of FIG. 1, but as described above, this device also functions as a stand-alone type. In this case, the communication function is unnecessary, and the communication unit 8 and the communication network in FIG. 9. The management server 10 is not required. The functions of the management server shown in Table 4 (contact to neighboring residents, Delon flight instructions, operation of threatening aircraft, etc.) include "wild boar discovery" displayed on the liquid crystal display in the display / alarm unit 3 described above. The maintenance manager of this device will take appropriate action and contact by looking at the language. In addition, since this device may be installed in a place higher than the height of maintenance management, in addition to the language display by the liquid crystal display, it is also possible to display the color by color according to the discovered animal using LEDs etc. is necessary.
また、図示しないが、本装置の設置管理ツールが別途用意され、USB端子１３を用いて、前記した設置時の操作（GPS部への書き込みなど）や、設置後のパターンモジュールのロード、さらに表示・警報設定メニュや撃退設定メニュの変更など、通信部８を用いて行う操作は、設置管理ツールで行うことができる。 In addition, although not shown, an installation management tool for this device is prepared separately, and the above-mentioned operation during installation (writing to the GPS unit, etc.), loading of the pattern module after installation, and further display are performed using the USB terminal 13. -Operations performed using the communication unit 8, such as changing the alarm setting menu and the repulsion setting menu, can be performed by the installation management tool.
上記の説明は野生動物の認識を例にしたが、カラス等農作物に被害を与える鳥類の認識など、認識範囲を広げることはパターン群というソフトウエアモジュールを追加するだけでよく、本装置は拡張性の高いものである。 The above explanation takes the recognition of wild animals as an example, but to expand the recognition range such as the recognition of birds that damage agricultural products such as crows, it is only necessary to add a software module called a pattern group, and this device is expandable. Is expensive.
住宅地に出没する野生動物の発見・警報機として、全国の各自治体が本装置の設置を要望するであろう。また、カラスやハクビシン等農地へ被害を与える動物、鳥類の認識も可能になるので被害の実情に応じた対策も容易で、多方面からの要望に答えることができる。 Local governments nationwide will request the installation of this device as a device for finding and alarming wild animals that appear in residential areas. In addition, since it is possible to recognize animals and birds that damage agricultural land such as crows and palm civets, it is easy to take measures according to the actual situation of the damage, and it is possible to respond to requests from various fields.
１ カメラ
１a ズーム１
２ 認識部
３ 表示・警報部
３a 表示・警報手段選択部
３b 表示・警報強度選択部
３c 表示・警報器
３d 表示・警報設定メニュ部
４ 撃退部
４a 撃退手段選択部
４b 撃退強度選択部
４c 撃退器
４d 撃退設定メニュ部
５ 回転駆動部
６ 認識・撃退履歴管理部
７ 時計
８ 通信部
９ 通信網
１０ 管理サーバ
１１ 装置ID符号部
１２ GPS部
１３ USB端子
２０ 背景認識部
２１ 記憶部
２１a ズーム２
２２ 物体判別部
２３ 人判別部
２４ 判定部
２５ 推定部
２５a、２５b、２５c、２５n パターン
２６ 回転司令部
３０ 統括管理サーバ
1 camera 1a zoom 1
2 Recognition unit 3 Display / alarm unit 3a Display / alarm means selection unit 3b Display / alarm intensity selection unit 3c Display / alarm device 3d Display / alarm setting menu unit 4 Repulsion unit 4a Repulsion means selection unit 4b Repulsion strength selection unit 4c Repellent device 4d Repulsion setting menu 5 Rotation drive 6 Recognition / repulsion history management 7 Clock 8 Communication 9 Communication network 10 Management server 11 Device ID code 12 GPS 13 USB terminal 20 Background recognition 21 Storage 21a Zoom 2
22 Object discrimination unit 23 Person discrimination unit 24 Judgment unit 25 Estimating unit 25a, 25b, 25c, 25n Pattern 26 Rotational command unit 30 General management server
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019091537A JP7005026B2 (en) | 2019-05-14 | 2019-05-14 | Object recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019091537A JP7005026B2 (en) | 2019-05-14 | 2019-05-14 | Object recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020184924A JP2020184924A (en) | 2020-11-19 |
| JP7005026B2 true JP7005026B2 (en) | 2022-01-21 |
Family
ID=73220561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019091537A Active JP7005026B2 (en) | 2019-05-14 | 2019-05-14 | Object recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7005026B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023157472A1 (en) * | 2022-02-17 | 2023-08-24 | 株式会社Ｎｔｔドコモ | Control device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006211917A (en) | 2005-02-01 | 2006-08-17 | Matsushita Electric Works Ltd | Noxious animal-repulsing system |
| JP2011138310A (en) | 2009-12-28 | 2011-07-14 | Nagaoka Univ Of Technology | Method of determining number and perching position of harmful bird and apparatus therefor, and method of expelling harmful bird |
| US20180125058A1 (en) | 2017-12-25 | 2018-05-10 | Yu-Chen Liu | Multifunctional animal repeller |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007003450A (en) * | 2005-06-27 | 2007-01-11 | Fujinon Corp | Noxious organism detecting device and method |
| JP6921494B2 (en) * | 2016-09-30 | 2021-08-18 | イームズロボティクス株式会社 | Pest control device, its method and program |
-
2019
- 2019-05-14 JP JP2019091537A patent/JP7005026B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006211917A (en) | 2005-02-01 | 2006-08-17 | Matsushita Electric Works Ltd | Noxious animal-repulsing system |
| JP2011138310A (en) | 2009-12-28 | 2011-07-14 | Nagaoka Univ Of Technology | Method of determining number and perching position of harmful bird and apparatus therefor, and method of expelling harmful bird |
| US20180125058A1 (en) | 2017-12-25 | 2018-05-10 | Yu-Chen Liu | Multifunctional animal repeller |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020184924A (en) | 2020-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108615321B (en) | Security pre-warning system and method based on radar detecting and video image behavioural analysis | |
| KR101378071B1 (en) | Farms and artificial fish bank anti-thief monitoring system and method | |
| JP6821529B2 (en) | Management equipment, programs and management methods | |
| KR101239866B1 (en) | Method and apparatus for birds control using mobile robot | |
| CN108416963A (en) | Forest Fire Alarm method and system based on deep learning | |
| US8248473B2 (en) | Robotic sentry with low dispersion acoustic projector | |
| US20180068164A1 (en) | Systems and methods for identifying pests in crop-containing areas via unmanned vehicles | |
| CN109996729A (en) | For the system and method based on damaged crops detection via unmanned vehicle identity comprising the harmful organism in the region of crops | |
| JP2011225212A (en) | Context-based sound generation | |
| US20210311501A1 (en) | Agricultural field management system, and agricultural field management method | |
| US11636745B2 (en) | Detection of animal intrusions and control of a repellent mechanism for detected animal intrusions | |
| US20190311604A1 (en) | System, Device and Method for Asymmetric Panoramic Security | |
| JP5465744B2 (en) | Bird and beast threat system | |
| JP7005026B2 (en) | Object recognition device | |
| KR101113757B1 (en) | System for repelling birds using unmanned robot and method thereof | |
| Schiano et al. | Autonomous detection and deterrence of pigeons on buildings by drones | |
| KR20220029809A (en) | An apparatus for providing security service using drones that determine reconnaissance flight patterns according to emergency situation information | |
| JP2022132327A (en) | Birds-and-beasts threatening system and birds-and-beasts threatening method | |
| JP7261115B2 (en) | Individual identification management device | |
| WO2023059257A1 (en) | Repellence system and repellence method for repelling animals | |
| JP7445909B1 (en) | Pest control systems and pest control programs | |
| JP2023124677A (en) | Intrusion suppression device and intrusion suppression program | |
| Mason et al. | Automatic Shark Detection via Underwater Acoustic Sensing | |
| CN117351044B (en) | Guardrail environment monitoring method and system based on Internet of things | |
| KR102597373B1 (en) | Train track wildlife detection systme and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191122 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211223 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7005026 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |