JP7363289B2 - Information processing device, counting system, counting method and computer program - Google Patents

Description

本発明は、移動体を計数する技術に関する。 The present invention relates to a technique for counting moving objects.

自然環境を調査する目的により、川を遡上する魚を計数する場合がある。その計数手法として、例えば、ビデオカメラにより撮影された川の撮影画像から計数対象の魚を人が数えるという手法がある。 Depending on the purpose of surveying the natural environment, fish swimming upstream may be counted. As a counting method, for example, there is a method in which a person counts the number of fish to be counted from images of a river taken with a video camera.

特許文献１および特許文献２には、魚を計数する領域が撮影されたビデオ映像において、フレーム画像における各画素の輝度情報等を利用して移動体（魚）を検出し、この検出結果を利用して移動体を計数する計数手法が示されている。 Patent Document 1 and Patent Document 2 disclose a method in which a moving object (fish) is detected using luminance information of each pixel in a frame image in a video image in which an area where fish are to be counted is captured, and this detection result is used. A counting method for counting moving objects is shown.

特許文献３には、動画カメラと静止画カメラのそれぞれの画像における各画素の色情報や輝度情報を利用して、計数対象の移動体を判別する技術が示されている。 Patent Document 3 discloses a technique for determining a moving object to be counted by using color information and brightness information of each pixel in each image of a video camera and a still image camera.

特開２００５－３０９４８５号公報Japanese Patent Application Publication No. 2005-309485 特開２００７－２０６８４３号公報Japanese Patent Application Publication No. 2007-206843 特開２０１３－２０１７１４号公報Japanese Patent Application Publication No. 2013-201714

川を遡上する魚を人が計数する場合には、手間と時間が掛かるという問題が生じる。 When humans count the number of fish that migrate up a river, the problem arises that it takes time and effort.

特許文献１～３に示されている技術では、画像の各画素の輝度や色の情報を利用したコンピュータによる画像処理により計数対象の魚が検出されている。これにより、特許文献１～３に示されている技術を利用して魚を計数する場合には、人が計数する場合に比べて、手間の軽減や、計数に要する時間の短縮化を図ることができるという効果が得られる。 In the techniques shown in Patent Documents 1 to 3, fish to be counted are detected by image processing by a computer using information on the brightness and color of each pixel of the image. As a result, when counting fish using the techniques shown in Patent Documents 1 to 3, it is possible to reduce the effort and time required for counting compared to counting by humans. This has the effect of being able to.

しかしながら、ビデオ映像に映る川の画像は光の乱反射などにより時々刻々と変化する。このようなことが原因となって、実際には映っている筈の魚をフレーム画像から検出できないという事態が発生し、これに起因して魚の計数結果についての正確性や信頼性を下げてしまうことがある。このようなことにより、画像を利用して魚を計数する技術について、改善すべき事項がまだまだあると考えられている。 However, the image of the river shown in the video image changes from moment to moment due to diffuse reflection of light and other factors. As a result of this, a situation occurs in which fish that are actually shown cannot be detected from the frame image, which reduces the accuracy and reliability of the fish counting results. Sometimes. As a result, it is believed that there are still many improvements that need to be made in the technology for counting fish using images.

本発明はそのような課題を解決するために考え出された。すなわち、本発明の主な目的は、計数対象の移動体を計数した計数結果に対する正確性および信頼性の向上を図ることができる技術を提供することにある。 The present invention was devised to solve such problems. That is, the main object of the present invention is to provide a technique that can improve the accuracy and reliability of counting results obtained by counting moving objects to be counted.

上記目的を達成するために、本発明の情報処理装置は、その一態様として、
計数対象の移動体が移動する移動方向に沿って設定されている複数の計測領域のうちの少なくとも一計測領域が撮影されている撮影画像から移動体を検知する検知部と、
前記複数の計測領域毎に、検知された前記移動体を計数する計数部と、
予め定められた期間において前記複数の計測領域毎に計数された前記移動体の数を利用した統計処理によって、前記期間に前記複数の計測領域を通過した計数対象の前記移動体の数を確定する確定部と
を備える。 In order to achieve the above object, the information processing device of the present invention includes, as one aspect thereof,
a detection unit that detects a moving object from a captured image in which at least one measurement area among a plurality of measurement areas set along a moving direction in which the moving object to be counted moves;
a counting unit that counts the detected moving objects for each of the plurality of measurement areas;
The number of the moving objects to be counted that passed through the plurality of measurement areas during the period is determined by statistical processing using the number of the moving objects counted for each of the plurality of measurement areas during the predetermined period. and a confirmation section.

本発明の計数システムは、その一態様として、
計数対象の移動体が移動する移動方向に沿って設定されている複数の計測領域を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像における前記計測領域から移動体を検知する検知部と、前記複数の計測領域毎に、検知された前記移動体を計数する計数部と、予め定められた期間において前記複数の計測領域毎に計数された前記移動体の数を利用した統計処理によって、前記期間に前記複数の計測領域を通過した前記移動体の数を確定する確定部とを備える情報処理装置と
を有する。 As one aspect of the counting system of the present invention,
a photographing device that photographs a plurality of measurement areas set along a moving direction in which a moving object to be counted moves;
a detection unit that detects a moving object from the measurement area in the captured image captured by the imaging device; a counting unit that counts the detected moving objects for each of the plurality of measurement areas; an information processing device that determines the number of moving objects that have passed through the plurality of measurement areas during the period by statistical processing using the number of the moving objects counted for each of the plurality of measurement areas; has.

本発明の計数方法は、その一形態として、
計数対象の移動体が移動する移動方向に沿って設定されている複数の計測領域のうちの少なくとも一計測領域が撮影されている撮影画像から移動体を検知し、
前記複数の計測領域毎に、検知された前記移動体を計数し、
予め定められた期間において前記複数の計測領域毎に計数された前記移動体の数を利用した統計処理によって、前記期間に前記複数の計測領域を通過した前記移動体の数を確定する。 As one form of the counting method of the present invention,
Detecting a moving object from a photographed image in which at least one measurement area among a plurality of measurement areas set along a moving direction in which the moving object to be counted moves;
counting the detected moving objects for each of the plurality of measurement areas;
The number of moving objects that passed through the plurality of measurement areas during the period is determined by statistical processing using the number of moving objects counted for each of the plurality of measurement areas during a predetermined period.

本発明のコンピュータプログラムは、その一形態として、
計数対象の移動体が移動する移動方向に沿って設定されている複数の計測領域のうちの少なくとも一計測領域が撮影されている撮影画像から移動体を検知する処理と、
前記複数の計測領域毎に、検知された前記移動体を計数する処理と、
予め定められた期間において前記複数の計測領域毎に計数された前記移動体の数を利用した統計処理によって、前記期間に前記複数の計測領域を通過した前記移動体の数を確定する処理と
をコンピュータにより実行させる。 As one form of the computer program of the present invention,
A process of detecting a moving object from a captured image in which at least one measurement area among a plurality of measurement areas set along a movement direction in which the moving object to be counted moves;
a process of counting the detected moving objects for each of the plurality of measurement areas;
A process of determining the number of moving objects that passed through the plurality of measurement areas during the period by statistical processing using the number of the moving objects counted for each of the plurality of measurement areas during a predetermined period. Executed by computer.

本発明によれば、計数対象の移動体を計数した計数結果に対する正確性および信頼性の向上を図ることができる。 According to the present invention, it is possible to improve the accuracy and reliability of the counting results obtained by counting the moving objects to be counted.

本発明に係る第１実施形態の情報処理装置とそれを備える計数システムの構成を簡略化して表すブロック図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing a simplified configuration of an information processing device and a counting system including the information processing device according to a first embodiment of the present invention. 第１実施形態におけるカメラの設置例を説明する図である。It is a figure explaining the example of camera installation in a 1st embodiment. カメラの撮影画像の一例を表す図である。FIG. 3 is a diagram showing an example of an image taken by a camera. 第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。1 is a block diagram showing a simplified configuration of an information processing device according to a first embodiment; FIG. 第１実施形態における計測領域を説明する図である。It is a figure explaining the measurement area in a 1st embodiment. さらに、第１実施形態における計測領域を説明する図である。Furthermore, it is a figure explaining the measurement area in 1st Embodiment. 撮影画像から検知された移動体を表す情報の一例を説明する図である。FIG. 3 is a diagram illustrating an example of information representing a moving object detected from a photographed image. 第１実施形態の情報処理装置における計数処理の動作例を説明するフローチャートである。7 is a flowchart illustrating an operational example of counting processing in the information processing apparatus of the first embodiment. 本発明に係る第２実施形態の情報処理装置とそれを備える計数システムの構成を簡略化して表すブロック図である。FIG. 2 is a block diagram showing a simplified configuration of an information processing device and a counting system including the information processing device according to a second embodiment of the present invention. 第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。1 is a block diagram showing a simplified configuration of an information processing device according to a first embodiment; FIG. 本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。FIG. 2 is a block diagram showing a simplified configuration of an information processing device according to another embodiment of the present invention. 本発明に係るその他の実施形態の計数システムの構成を簡略化して表すブロック図である。It is a block diagram showing simplified composition of a counting system of other embodiments concerning the present invention.

以下に、本発明に係る実施形態を図面を参照しつつ説明する。 Embodiments according to the present invention will be described below with reference to the drawings.

＜第１実施形態＞
図１は、本発明に係る第１実施形態の情報処理装置を含む計数システムの構成を簡略化して表すブロック図である。この計数システム１は、移動体を計数するシステムである。計数システム１が計数対象とする移動体は、移動方向を予想できる移動体であり、第１実施形態では、計数対象の移動体は、川を遡上する予め定められた種類の魚（例えば鮎）である。計数システム１は、情報処理装置（サーバ）３と、カメラ５と、通信装置６と、ユーザ端末７とを備えている。 <First embodiment>
FIG. 1 is a block diagram showing a simplified configuration of a counting system including an information processing apparatus according to a first embodiment of the present invention. This counting system 1 is a system for counting moving objects. The moving objects to be counted by the counting system 1 are moving objects whose movement direction can be predicted, and in the first embodiment, the moving objects to be counted are predetermined types of fish (for example, sweetfish) that move up the river. ). The counting system 1 includes an information processing device (server) 3, a camera 5, a communication device 6, and a user terminal 7.

カメラ５は、川面の上方側から、計数対象の魚を計数する予め定められた計測領域の動画を撮影する撮影装置である。第１実施形態では、計測領域は魚道（魚梯）に設定されている。魚道とは、河川に設けられた堰やダムなどの施設のために魚の遡上が難しい場所に、その施設を迂回して当該施設よりも下流側と上流側とを、魚が遡上しやすいように結んだ魚の通り道である。図２は、魚道を水流に沿う仮想面で切断した場合の魚道の模式的な切断図と共に、カメラ５の設置例を説明するモデル図である。図２に表されている魚道１０には、隔壁１１が魚道１０を横断するように設けられている。隔壁１１は、その高さを可変することが可能な構成となっている。これにより、降雨などに起因した魚道１０の水流や水量の変化に応じて隔壁１１の高さを調整することによって、魚道１０の水流や水量の調整が可能である。 The camera 5 is a photographing device that photographs a moving image of a predetermined measurement area in which fish to be counted are counted from above the river surface. In the first embodiment, the measurement area is set to a fish ladder. A fishway is a place built in a river where it is difficult for fish to go upstream due to facilities such as weirs and dams, and where it is easy for fish to go upstream by bypassing the facility and going downstream and upstream from the facility. This is a path for fish tied like this. FIG. 2 is a model diagram illustrating an example of the installation of the camera 5, along with a schematic cutaway view of the fishway when the fishway is cut along a virtual plane along the water flow. In the fishway 10 shown in FIG. 2, a partition wall 11 is provided so as to cross the fishway 10. The partition wall 11 has a configuration that allows its height to be varied. Thereby, the water flow and amount of water in the fishway 10 can be adjusted by adjusting the height of the partition wall 11 according to changes in the water flow and amount of water in the fishway 10 due to rainfall and the like.

魚道１０において、隔壁１１が設けられている領域（以下、隔壁領域とも記す）１０Ｒは、隔壁１１によって浅くなっていることから、川面１０Ｓの上方側から魚道１０を撮影した場合に、遡上する魚１５を他の領域に比べて撮影し易い領域である。このことにより、第１実施形態では、カメラ５は、魚道１０の上方側から、隔壁領域１０Ｒを撮影するように設置される。図３は、カメラ５による撮影画像の一例を表す図である。この撮影画像１３の例に示されるように、隔壁１１が設けられている隔壁領域１０Ｒにおいては、遡上する魚１５が映りやすく、その他の領域では、深さによる水の色の濃さや魚が深い位置にいる等の理由に因り、撮影画像１３に映らない魚がいる。このようなことを考慮し、第１実施形態では、魚道１０を遡上する計数対象の魚（例えば鮎）を計数する計測領域として、隔壁領域１０Ｒが利用される。 In the fishway 10, the region 10R where the partition wall 11 is provided (hereinafter also referred to as the partition wall region) is shallow due to the partition wall 11, so when the fishway 10 is photographed from above the river surface 10S, the area 10R where the partition wall 11 is provided is This is an area where it is easier to photograph the fish 15 compared to other areas. Accordingly, in the first embodiment, the camera 5 is installed so as to photograph the partition wall region 10R from above the fishway 10. FIG. 3 is a diagram showing an example of an image taken by the camera 5. As shown in FIG. As shown in the example of this photographed image 13, in the bulkhead region 10R where the bulkhead 11 is provided, the fish 15 swimming upstream are easily reflected, and in other areas, the depth of the water color and the fish are visible. There are some fish that cannot be seen in the photographed image 13 due to reasons such as being located in a deep position. Taking this into consideration, in the first embodiment, the bulkhead region 10R is used as a measurement region for counting target fish (for example, sweetfish) that swim upstream through the fishway 10.

すなわち、第１実施形態では、カメラ５は、図２に表されるように、隔壁領域１０Ｒを撮影できるように、魚道１０における隔壁領域１０Ｒの上方側に設置される。なお、川面１０Ｓからの光の乱反射に起因して撮影画像における魚１５が不明瞭になる事態を防止するために、必要に応じて、カメラ５の上方側に、遮光性と通気性を兼ね備えたメッシュシート（図示せず）が設けられる。また、カメラ５のレンズには、川面１０Ｓからの光の乱反射の影響を抑制するために、遮光フィルタあるいは偏光フィルタが取り付けられる。さらに、カメラ５のフレームレートは、例えば、１０フレーム毎秒（fps （frames per second））である。 That is, in the first embodiment, the camera 5 is installed above the partition wall region 10R in the fishway 10 so as to be able to photograph the partition wall region 10R, as shown in FIG. In addition, in order to prevent the fish 15 from becoming unclear in the photographed image due to diffuse reflection of light from the river surface 10S, if necessary, a light-shielding and breathable structure is installed above the camera 5. A mesh sheet (not shown) is provided. Furthermore, a light shielding filter or a polarizing filter is attached to the lens of the camera 5 in order to suppress the influence of diffuse reflection of light from the river surface 10S. Further, the frame rate of the camera 5 is, for example, 10 frames per second (fps).

カメラ５は、図１に示されるように、通信装置６に通信可能に接続されており、撮影した映像（撮影画像）を通信装置６に送信する。カメラ５から通信装置６に送信される撮影画像には、撮影時刻に関わる情報が関連付けられている。 As shown in FIG. 1, the camera 5 is communicably connected to the communication device 6, and transmits a captured video (captured image) to the communication device 6. The photographed image transmitted from the camera 5 to the communication device 6 is associated with information related to the photographing time.

通信装置６は、記憶装置（図示せず）を内蔵あるいは外付けしており、カメラ５から受信した撮影画像を記憶装置に格納する機能を備える。また、通信装置６は、例えば、インターネットなどの情報通信網を介して情報処理装置３に接続されており、予め定められたタイミングでもって記憶装置から読み出した撮影画像を情報処理装置３に送信（転送）する機能を備える。 The communication device 6 has a built-in or external storage device (not shown), and has a function of storing captured images received from the camera 5 in the storage device. Further, the communication device 6 is connected to the information processing device 3 via an information communication network such as the Internet, and transmits the photographed image read from the storage device to the information processing device 3 at a predetermined timing. transfer).

通信装置６が撮影画像を情報処理装置３に送信するタイミングは、例えば、システムのユーザが入力装置（図示せず）を利用して撮影画像の送信を指令したタイミングや、定期的に送信すべく設定された送信時間（例えば一日一回、所定の時刻）である。また、そのような送信タイミングで通信装置６が情報処理装置３に送信する撮影画像の量に関しては、例えば、ユーザの指令により送信する場合にはユーザが指定した送信対象の時間帯で撮影された撮影画像が送信される。また、定期的に送信される場合には、例えば、予め定められた時刻から翌日の同時刻までの一日分の撮影画像というように予め設定された時間帯の撮影画像が送信される。なお、定期的に撮影画像を通信装置６から情報処理装置３に送信する場合には、その定期的に送信する時間間隔は一日に限定されず、一日よりも短い時間間隔であってもよいし、一日よりも長い時間間隔であってもよい。さらに、遡上する魚が多い時季には、定期的に送信する時間間隔は一日よりも短く、遡上する魚が少ない時季には、定期的に送信する時間間隔は一日よりも長くするというように、時季により変化させてもよい。 The timing at which the communication device 6 transmits the photographed image to the information processing device 3 may be, for example, the timing at which the user of the system commands the transmission of the photographed image using an input device (not shown) or the timing at which the photographed image is sent periodically. This is a set transmission time (for example, once a day at a predetermined time). Regarding the amount of captured images that the communication device 6 transmits to the information processing device 3 at such transmission timing, for example, when transmitting according to a user's command, the amount of captured images that are captured during the time period specified by the user to be transmitted is The captured image will be sent. Further, in the case of periodic transmission, for example, images taken in a preset time period, such as one day's worth of images from a predetermined time to the same time on the next day, are sent. Note that when periodically transmitting photographed images from the communication device 6 to the information processing device 3, the time interval at which the periodically transmitted images are transmitted is not limited to one day, and may be shorter than one day. Alternatively, the time interval may be longer than one day. Furthermore, in seasons when there are many fish swimming upstream, the time interval between regular transmissions is shorter than one day, and during seasons when there are few fish swimming upstream, the time interval between regular transmissions is longer than one day. It may be changed depending on the season.

また、通信装置６から情報処理装置３に送信される撮影画像には、当該画像を撮影した撮影環境（例えば天候）の情報が関連付けられていてもよい。その撮影環境の情報は、例えば、ユーザによって通信装置６に入力される。あるいは、撮影環境の情報は、通信装置６によって、例えば天候の情報を発信する情報発信源から取得される。 Further, the photographed image transmitted from the communication device 6 to the information processing device 3 may be associated with information about the photographing environment (for example, weather) in which the image was photographed. Information on the shooting environment is input into the communication device 6 by the user, for example. Alternatively, the information on the photographing environment is acquired by the communication device 6 from an information source that transmits weather information, for example.

図４は、情報処理装置３の構成を簡略化して表すブロック図である。情報処理装置３はコンピュータ装置であり、制御装置２０と、記憶装置３０とを備えている。記憶装置３０は、コンピュータプログラム（以下、プログラムとも記す）３１や、各種の情報（データ）を記憶する構成を備えている。なお、記憶装置３０には様々な種類があり、情報処理装置３に搭載される記憶装置３０は何れの種類であってもよい。また、情報処理装置３に搭載される記憶装置３０は１個に限定されず、複数の記憶装置３０が情報処理装置３に搭載されてもよいし、また、複数種の記憶装置３０が情報処理装置３に搭載されていてもよい。ここでは、情報処理装置３に装置される記憶装置３０が複数であってもまとめて記憶装置３０と記載する。 FIG. 4 is a block diagram showing a simplified configuration of the information processing device 3. As shown in FIG. The information processing device 3 is a computer device and includes a control device 20 and a storage device 30. The storage device 30 is configured to store a computer program (hereinafter also referred to as a program) 31 and various types of information (data). Note that there are various types of storage devices 30, and the storage device 30 installed in the information processing device 3 may be of any type. Further, the number of storage devices 30 installed in the information processing device 3 is not limited to one, and a plurality of storage devices 30 may be installed in the information processing device 3, and multiple types of storage devices 30 may be installed in the information processing device 3. It may be installed in the device 3. Here, even if there is a plurality of storage devices 30 installed in the information processing device 3, they will be collectively referred to as storage devices 30.

第１実施形態では、記憶装置３０には、カメラ５により撮影され通信装置６を介して情報処理装置３に送信されてきた撮影画像が撮影時刻に関わる情報や撮影環境の情報と関連付けられた状態で格納される。 In the first embodiment, the storage device 30 stores a photographed image taken by the camera 5 and transmitted to the information processing device 3 via the communication device 6 in a state in which the photographed image is associated with information related to the photographing time and information about the photographing environment. It is stored in .

制御装置２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサにより構成されている。当該制御装置２０は、記憶装置３０に格納されているコンピュータプログラムを読み出し当該コンピュータプログラムを実行することにより、コンピュータプログラムに応じた機能を備える。第１実施形態では、制御装置２０は、機能部として、検知部２１と、補正部２２と、計数部２３と、確定部２４とを備えている。 The control device 20 includes a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit). The control device 20 reads a computer program stored in the storage device 30 and executes the computer program, thereby providing functions corresponding to the computer program. In the first embodiment, the control device 20 includes a detection section 21, a correction section 22, a counting section 23, and a determining section 24 as functional sections.

検知部２１は、カメラ５による撮影画像から、計数対象の種類の移動体（第１実施形態では魚）を検知する機能を備えている。撮影画像から移動体を検知する手法には様々な手法があり、情報処理装置３の処理能力等を考慮した適宜な手法を採用してよいが、ここでは、機械学習により得られたモデルを利用して画像から物体を検知する手法（ＡＩ（Artificial Intelligence）とも称される手法）が採用される。すなわち、計数対象の魚（例えば鮎）における体勢や向きや色や映り方などが異なる多数の計数対象の魚画像を教師データとした機械学習によって、検知部２１が実行する検知処理で用いる移動体検知用のモデルが生成される。記憶装置３０には、その生成されたモデル３２が格納される。なお、モデル３２の生成に際し、検知対象外の物体の映像を教師データとした機械学習が反映されたモデル３２が生成されてもよい。検知対象外の物体の映像としては、検知対象の魚種以外の魚（例えばマルタやワカサギ、ボラ）の映像や、撮影画像に含まれる網の映像や、魚道１０を流れる落ち葉や枝やゴミなどの映像である。 The detection unit 21 has a function of detecting a type of moving object to be counted (a fish in the first embodiment) from an image taken by the camera 5. There are various methods for detecting moving objects from captured images, and an appropriate method may be adopted that takes into consideration the processing capacity of the information processing device 3, but here, a model obtained by machine learning is used. A method of detecting objects from images (a method also referred to as AI (Artificial Intelligence)) is adopted. In other words, the moving object used in the detection processing performed by the detection unit 21 is determined by machine learning using a large number of images of fish to be counted (for example, sweetfish) with different postures, orientations, colors, and reflections as training data. A detection model is generated. The generated model 32 is stored in the storage device 30. Note that when generating the model 32, the model 32 may be generated to reflect machine learning using an image of an object that is not a detection target as training data. Images of objects that are not targeted for detection include images of fish other than the fish species targeted for detection (for example, Maltese fish, smelt, and mullet), images of nets included in captured images, fallen leaves, branches, and garbage flowing through the fishway 10, etc. This is a video of

検知部２１は、記憶装置３０に格納されているモデル３２を利用して、カメラ５による撮影画像から計数対象の魚を検知する。 The detection unit 21 uses the model 32 stored in the storage device 30 to detect fish to be counted from the image taken by the camera 5.

ところで、前述したように、撮影画像における計数対象の魚の映りやすさを考慮して、魚道１０における隔壁領域１０Ｒが、計数対象の魚を計数する計測領域として設定される。第１実施形態では、さらに、計数結果に対する正確性および信頼性を高めるべく、次のように、計測領域の大きさ等が設定されている。 By the way, as described above, in consideration of the ease with which the fish to be counted are reflected in the photographed image, the bulkhead area 10R in the fishway 10 is set as the measurement area for counting the fish to be counted. In the first embodiment, the size of the measurement area and the like are further set as follows in order to improve the accuracy and reliability of the counting results.

図５は、カメラ５の撮影画像１３における計測領域の設定位置および大きさの一例を説明するモデル図である。第１実施形態では、隔壁領域１０Ｒにおいて、複数（ここでは、二箇所）の計測領域１８Ａ，１８Ｂが設定されている。計測領域１８Ａ，１８Ｂは、計数対象の魚における予想される移動方向（つまり、遡上する方向（下流から上流に向かう方向））Ｕに互いに間隔を介して配置されている。計測領域１８Ａ，１８Ｂは矩形状であり、当該矩形状は、移動方向Ｕに沿う辺を有する。計測領域１８Ａ，１８Ｂにおける魚の移動方向Ｕの長さＬは、計数対象の魚１５の体長と同様な長さに設定されている。また、計測領域１８Ａ，１８Ｂにおける移動方向Ｕに直交あるいはほぼ直交する方向の幅は、撮影画像１３と同様な幅に設定されている。 FIG. 5 is a model diagram illustrating an example of the set position and size of the measurement area in the captured image 13 of the camera 5. As shown in FIG. In the first embodiment, a plurality of (here, two) measurement regions 18A and 18B are set in the partition region 10R. The measurement areas 18A and 18B are spaced apart from each other in the expected movement direction (that is, the direction of upstream movement (direction from downstream to upstream)) of the fish to be counted. The measurement areas 18A and 18B have a rectangular shape, and the rectangular shape has sides along the moving direction U. The length L in the movement direction U of the fish in the measurement areas 18A and 18B is set to be the same length as the body length of the fish 15 to be counted. Further, the width of the measurement regions 18A and 18B in a direction perpendicular or substantially perpendicular to the movement direction U is set to be the same width as the photographed image 13.

計測領域１８Ａ，１８Ｂにおける魚の移動方向Ｕの長さＬが、計数対象の魚１５の体長と同様な長さに設定されることにより、各計測領域１８Ａ，１８Ｂにおいて、同じ魚１５を重複して計数することを防止しやすくできる。つまり、ここで、撮影画像（ビデオ映像）における図６に表されるようなフレーム画像Ｆ１から例えば計測領域１８Ａにて計数対象の魚１５ａが検知されたとする。計測領域１８Ａにおける魚１５ａの移動方向Ｕの長さＬは魚１５ａの体長と同程度の長さであることから、検知直後に魚１５ａは計測領域１８Ａの外に移動することとなる。例えば、図６におけるフレーム画像Ｆ１の次の検知処理対象のフレーム画像として、検知済みの魚１５ａが計測領域１８Ａの外に移動しているフレーム画像Ｆ２を、次の検知処理対象のフレーム画像とする。これにより、魚１５ａが計測領域１８Ａにおいて重複検知（つまり、重複計数）されることが回避される。また、検知処理対象とするフレーム画像間の時間間隔Ｔを適宜設定することにより、計数対象の魚が時間間隔Ｔの間に計測領域１８Ａを通過してしまって検知されないという検知漏れが回避される。 By setting the length L in the moving direction U of the fish in the measurement areas 18A, 18B to the same length as the body length of the fish 15 to be counted, the same fish 15 can be duplicated in each measurement area 18A, 18B. Counting can be easily prevented. That is, it is assumed here that the fish 15a to be counted is detected in the measurement area 18A, for example, from the frame image F1 as shown in FIG. 6 in the captured image (video image). Since the length L of the fish 15a in the movement direction U in the measurement area 18A is approximately the same as the body length of the fish 15a, the fish 15a will move out of the measurement area 18A immediately after detection. For example, as the frame image to be subjected to the detection process next to the frame image F1 in FIG. 6, the frame image F2 in which the detected fish 15a has moved outside the measurement area 18A is set as the frame image to be subjected to the next detection process. . This avoids duplicate detection (that is, duplicate counting) of the fish 15a in the measurement area 18A. Furthermore, by appropriately setting the time interval T between frame images to be subjected to detection processing, it is possible to avoid detection failure in which the fish to be counted passes through the measurement area 18A during the time interval T and is not detected. .

さらに、第１実施形態では、複数の計測領域１８Ａ，１８Ｂは、同じ隔壁領域１０Ｒに設定されている。つまり、計測領域１８Ａ，１８Ｂは近接しており、計測領域１８Ａ，１８Ｂの水流などの状態はほぼ同じ状態と見なせる。また、計数対象の魚が群れて行動する場合には、計測領域１８Ａ，１８Ｂにおいて同じ魚の群れが、時間差が無く、かつ、同様な状態で検知される。 Furthermore, in the first embodiment, the plurality of measurement regions 18A and 18B are set in the same partition region 10R. In other words, the measurement areas 18A and 18B are close to each other, and the water flow and other conditions in the measurement areas 18A and 18B can be considered to be approximately the same. Further, when the fish to be counted move in a school, the same school of fish is detected in the measurement areas 18A and 18B in the same state without any time difference.

検知部２１は、上記のように撮影画像において設定された計測領域１８Ａ，１８Ｂから、計数対象の魚を検知する。検知された魚を表す情報は、例えば、図７に表されるような検知された魚１５を囲む矩形状の枠（バウンディングボックスとも称される）３７の大きさおよび形の情報と、その枠３７の中心位置Ｐを表す情報とにより表される。具体的には、枠３７の中心位置Ｐを表す情報は、撮影画像に予め設定されたｘｙ直交座標系の座標により表される。また、矩形状の枠３７は、撮影画像に設定されたｘｙ直交座標系のｘ軸に沿う方向の辺と、ｙ軸に沿う方向の辺とを備え、枠３７の大きさおよび形の情報は、ｘ軸に沿う方向の辺の長さＷの情報と、ｙ軸に沿う方向の辺の長さＨの情報とにより表される。枠３７の大きさおよび形は、図７に表される複数の枠３７によって表されるように、検知された魚１５の体長に応じ、かつ、体勢（川の流れ方向に対する傾きや、くねりなど）の変化に応じて異なる。 The detection unit 21 detects fish to be counted from the measurement areas 18A and 18B set in the captured image as described above. The information representing the detected fish includes, for example, information on the size and shape of a rectangular frame (also referred to as a bounding box) 37 surrounding the detected fish 15 as shown in FIG. 7, and the frame. Information representing the center position P of 37. Specifically, the information representing the center position P of the frame 37 is represented by coordinates of an xy orthogonal coordinate system set in advance in the photographed image. Further, the rectangular frame 37 has a side along the x-axis and a side along the y-axis of the xy orthogonal coordinate system set in the photographed image, and information on the size and shape of the frame 37 is , is represented by information about the length W of the side in the direction along the x-axis and information about the length H of the side in the direction along the y-axis. The size and shape of the frame 37 are determined depending on the body length of the detected fish 15 and the posture (inclination with respect to the flow direction of the river, bending, etc.), as shown by the plurality of frames 37 shown in FIG. ) varies depending on changes in

検知部２１は、検知した魚１５を表す情報を、検知した撮影画像（フレーム）を識別する情報（例えばフレーム番号）に関連付けて記憶装置３０に格納する。 The detection unit 21 stores information representing the detected fish 15 in the storage device 30 in association with information (for example, a frame number) that identifies the detected captured image (frame).

ところで、検知部２１が実行する検知処理の負荷軽減や検知結果の精度向上を図るために、検知処理を実行する前に、撮影画像を加工する前処理を行うことが好ましい。この前処理は、撮影画像に映る川面１０Ｓや検知対象の魚の画像を考慮した適宜な処理を採用してよいが、その具体例としては、例えば、フレーム選別処理と、加工処理とがある。フレーム選別処理とは、カメラ５により撮影された撮影画像を構成するフレームの中から、検知処理を行う対象のフレームを選別（抽出）する処理である。例えば、予め設定されたフレーム数毎に検知処理対象としてのフレームが選別される。加工処理とは、撮影画像から計数対象の魚を検知し易くするために画像を加工する処理である。例えば、加工処理として、撮影画像における計測領域１８Ａ，１８Ｂ以外の領域をトリミングする加工が行われる。また、画像をガンマ補正する処理、コントラストを調整する処理、および、鮮鋭化処理をも加工処理として行われる。 By the way, in order to reduce the load on the detection process executed by the detection unit 21 and improve the accuracy of the detection results, it is preferable to perform pre-processing on the photographed image before executing the detection process. This pre-processing may employ any appropriate processing that takes into consideration the river surface 10S reflected in the photographed image and the image of the fish to be detected, and specific examples thereof include frame selection processing and processing processing. The frame selection process is a process of selecting (extracting) frames to be subjected to detection processing from among the frames constituting the image taken by the camera 5. For example, frames to be detected are selected for each preset number of frames. Processing is a process of processing images to make it easier to detect fish to be counted from captured images. For example, as a processing process, a process of trimming areas other than the measurement areas 18A and 18B in the photographed image is performed. In addition, processing for gamma correction of an image, processing for adjusting contrast, and sharpening processing are also performed as processing processing.

補正部２２は、検知部２１による検知結果を補正する機能を備える。すなわち、検知部２１によって計測領域１８Ａ，１８Ｂから計数対象の魚であるとして検知された画像（以下、検知画像とも記す）の中には、実際には計数対象の魚でないものが含まれていることが懸念される。このため、補正部２２は、検知部２１による検知結果から、計数対象の魚ではないと判断された検知画像の情報を削除（排除）する。例えば、検知部２１により検知された検知画像のそれぞれについて、計数対象の魚である確からしさ（確信度）を算出する確信度算出データが例えば記憶装置３０に予め与えられる。補正部２２は、確信度算出データを利用して、検知画像のそれぞれについて確信度を算出し、確信度が閾値未満の検知画像に対応する情報を検知部２１による検知結果から削除する。 The correction unit 22 has a function of correcting the detection result by the detection unit 21. That is, the images detected by the detection unit 21 as fish to be counted from the measurement areas 18A and 18B (hereinafter also referred to as detected images) include fish that are not actually the fish to be counted. This is a concern. For this reason, the correction unit 22 deletes (excludes) information on detected images that are determined not to be fish to be counted, from the detection results by the detection unit 21. For example, for each of the detection images detected by the detection unit 21, confidence calculation data for calculating the probability (confidence) that the fish is the fish to be counted is provided in advance to the storage device 30, for example. The correction unit 22 uses the reliability calculation data to calculate the reliability for each of the detected images, and deletes information corresponding to the detected image whose reliability is less than the threshold value from the detection result by the detection unit 21.

また、補正部２２は、検知処理対象となったフレーム間における検知画像の情報である枠３７の中心座標と大きさと形状の情報を比較する。そして、補正部２２は、同様な中心座標、大きさおよび形状を持つ枠３７が連続的あるいは間欠的に所定回数よりも多く検知されている場合には、その枠３７の情報を検知部２１による検知結果から削除する。つまり、遡上している魚が、同じ位置に同じ体勢で所定回数よりも多く検知されることはないと想定される。このことから、同様な中心座標、大きさおよび形状を持つ枠３７が所定回数よりも多く検知されている場合には、その枠３７は、例えば隔壁１１に付着した藻やゴミの画像を表すものであると想定される。これにより、補正部２２は、そのような検知画像を、検知部２１による検知結果から削除することにより、検知部２１の検知結果を補正する。 The correction unit 22 also compares the center coordinates, size, and shape information of the frame 37, which is the information of the detected images between the frames subjected to the detection process. Then, when a frame 37 having similar center coordinates, size, and shape is detected continuously or intermittently more than a predetermined number of times, the correction unit 22 uses the information of the frame 37 by the detection unit 21. Delete from detection results. In other words, it is assumed that a fish swimming upstream will not be detected in the same position and in the same posture more than a predetermined number of times. From this, if a frame 37 with similar center coordinates, size, and shape is detected more than a predetermined number of times, then the frame 37 represents, for example, an image of algae or garbage attached to the partition wall 11. It is assumed that Thereby, the correction unit 22 corrects the detection result of the detection unit 21 by deleting such a detection image from the detection result of the detection unit 21.

計数部２３は、検知部２１により検知処理が実行されたフレームに関し、計測領域１８Ａ，１８Ｂにおいて検知された検知画像の数を計数する機能を備える。そして、計数部２３は、計測領域１８Ａ，１８Ｂのそれぞれの計数結果を、計数処理が実行されたフレームを表す情報（例えばフレーム番号）、および、対応する計測領域を表す情報が関連付けられた状態で、記憶装置３０に格納する機能を備える。 The counting unit 23 has a function of counting the number of detected images detected in the measurement areas 18A and 18B regarding frames for which the detection process has been executed by the detection unit 21. Then, the counting unit 23 stores the counting results of the measurement areas 18A and 18B in a state in which information representing the frame in which the counting process was executed (for example, a frame number) and information representing the corresponding measurement area are associated. , and has a function of storing it in the storage device 30.

確定部２４は、予め定められた期間Ｄにおいて計測領域１８Ａ，１８Ｂのそれぞれにおいて計数された計数対象の魚の数を利用した統計処理によって、期間Ｄに計測領域１８Ａ，１８Ｂを通過した計数対象の魚の数を確定する機能を備える。例えば、期間Ｄの長さは、一日（２４時間）である。また、確定部２４は、統計処理として、期間Ｄにおいて計測領域１８Ａ，１８Ｂのそれぞれにおいて計数された魚の数の平均値を算出し、当該算出した値を、期間Ｄにおいて計測領域１８Ａ，１８Ｂを通過した計数対象の魚の数として確定する。確定部２４は、確定した数の情報を、期間Ｄを表す情報に関連付けて記憶装置３０に格納する。 The determination unit 24 calculates the number of fish to be counted that passed through the measurement areas 18A, 18B during the period D by statistical processing using the number of fish to be counted counted in each of the measurement areas 18A, 18B during a predetermined period D. Equipped with a function to confirm the number. For example, the length of period D is one day (24 hours). In addition, as a statistical process, the determination unit 24 calculates the average value of the number of fish counted in each of the measurement areas 18A and 18B during the period D, and uses the calculated value as the number of fish that passed through the measurement areas 18A and 18B during the period D. This is determined as the number of fish to be counted. The determining unit 24 stores the determined number of information in the storage device 30 in association with information representing the period D.

このように、計測領域１８Ａ，１８Ｂにおける計数部２３の計数結果を統計処理することにより、計測領域１８Ａ，１８Ｂ（換言すれば、隔壁領域１０Ｒ）を通過した計数対象の魚に関する計数結果の正確性および信頼性を高めることができる。 In this way, by statistically processing the counting results of the counting section 23 in the measurement areas 18A and 18B, the accuracy of the counting results regarding the fish to be counted that passed through the measurement areas 18A and 18B (in other words, the bulkhead area 10R) can be improved. and can increase reliability.

なお、情報処理装置３は、検知部２１と補正部２２と計数部２３と確定部２４に加えて、図４の点線に表されるような確認部２５が設けられていてもよい。確認部２５は、検知部２１による検知結果を表示装置３５を利用して確認可能にする機能を備えている。具体的には、例えば、確認部２５は、検知処理が実行された処理済みの撮影画像に、検知部２１による検知結果を表す画像（例えば枠３７）を重畳し、当該撮影画像を情報処理装置３に接続されている表示装置３５により表示させる。 Note that, in addition to the detection section 21, the correction section 22, the counting section 23, and the confirmation section 24, the information processing device 3 may be provided with a confirmation section 25 as shown by the dotted line in FIG. The confirmation unit 25 has a function of allowing the detection result by the detection unit 21 to be confirmed using the display device 35. Specifically, for example, the confirmation unit 25 superimposes an image (e.g., a frame 37) representing the detection result by the detection unit 21 on the processed captured image in which the detection process has been performed, and displays the captured image in the information processing device. 3 is displayed on a display device 35 connected to 3.

情報処理装置３は、図１に表されているように、ユーザ端末７に接続されている。情報処理装置３は、予め定められた通知タイミングで、計数結果をユーザ端末７に通知する。通知タイミングは、計数結果を出力することをユーザ端末７から指令されたタイミングであってよいし、予め定められた時間間隔毎であってもよい。また、情報処理装置３からユーザ端末７に計数結果を通知する手法は、特に限定されず、例えば、電子メールを利用する手法であってもよい。 The information processing device 3 is connected to the user terminal 7, as shown in FIG. The information processing device 3 notifies the user terminal 7 of the counting result at a predetermined notification timing. The notification timing may be the timing at which the user terminal 7 commands to output the counting results, or may be at predetermined time intervals. Further, the method for notifying the counting results from the information processing device 3 to the user terminal 7 is not particularly limited, and may be a method using e-mail, for example.

ユーザ端末７は、例えば、表示装置を備え、情報処理装置３から受信した計数結果の情報を表示装置により画面表示する。その表示形態は、表やグラフなど、適宜な形態を採り得る。 The user terminal 7 includes, for example, a display device, and displays information on the counting results received from the information processing device 3 on the screen. The display format may take any appropriate format such as a table or a graph.

次に、情報処理装置３における計数対象の魚を計数する処理に関わる動作の一例を図８のフローチャートを利用して説明する。なお、図８のフローチャートは、情報処理装置３における計数対象の魚を計数する処理手順を表す。 Next, an example of the operation related to the process of counting fish to be counted in the information processing device 3 will be described using the flowchart of FIG. 8. Note that the flowchart in FIG. 8 represents a processing procedure for counting target fish in the information processing device 3.

例えば、計数対象の魚を計数する計数処理を開始する指令を情報処理装置３の制御装置２０が受信すると（ステップＳ１０１）、制御装置２０の検知部２１は、処理対象の期間にカメラ５により撮影された撮影画像を記憶装置３０から読み出す。そして、検知部２１は、検知処理の前処理として、撮影画像から検知処理対象のフレームを予め定められた選別手法によって選別（抽出）する（ステップＳ１０２）。その後、選別したフレームについて、検知部２１は、さらに、検知処理の前処理として、計数対象の魚を検知しやすくするために画像を加工する（ステップＳ１０３）。そして、検知部２１は、前処理を行ったフレームについて、計数対象の魚を検知する検知処理を例えばモデル３２を利用して実行し（ステップＳ１０４）、検知結果を記憶装置３０に格納する。 For example, when the control device 20 of the information processing device 3 receives a command to start the counting process of counting fish to be counted (step S101), the detection unit 21 of the control device 20 detects the number of fish captured by the camera 5 during the period to be processed. The captured image is read out from the storage device 30. Then, as pre-processing for the detection process, the detection unit 21 selects (extracts) frames to be detected from the photographed image using a predetermined selection method (step S102). Thereafter, regarding the selected frames, the detection unit 21 further processes the image in order to make it easier to detect the fish to be counted, as pre-processing for the detection process (step S103). Then, the detection unit 21 performs a detection process for detecting fish to be counted on the preprocessed frame using, for example, the model 32 (step S104), and stores the detection result in the storage device 30.

然る後に、補正部２２が、計数対象の魚ではないと判断される検知画像の情報を検知部２１による検知結果から削除することによって、検知部２１による検知結果を補正する（ステップＳ１０５）。 After that, the correction unit 22 corrects the detection result by the detection unit 21 by deleting information of the detection image that is determined not to be a fish to be counted from the detection result by the detection unit 21 (step S105).

その後、計数部２３が、計測領域１８Ａ，１８Ｂのそれぞれにおいて検知された計数対象の魚を計数する（ステップＳ１０６）。然る後に、確定部２４が、所定の期間Ｄにおける計測領域１８Ａ，１８Ｂの計数結果を利用した統計処理を実行する。そして、確定部２４は、統計処理により得られた算出値を、その期間Ｄに計測領域１８Ａ，１８Ｂ（隔壁領域１０Ｒ）を通過した計数対象の魚の数として確定する（ステップＳ１０７）。 After that, the counting unit 23 counts the fish to be counted detected in each of the measurement areas 18A and 18B (step S106). After that, the determining unit 24 executes statistical processing using the counting results of the measurement areas 18A and 18B during a predetermined period D. Then, the determining unit 24 determines the calculated value obtained by the statistical processing as the number of fish to be counted that passed through the measurement areas 18A, 18B (partition area 10R) during the period D (step S107).

第１実施形態の情報処理装置３は、計数対象の魚における移動方向（遡上方向）に間隔を介して位置する複数の計測領域１８Ａ，１８Ｂにおいて、計数対象の魚を検知し、検知した魚を計数する機能を備える。さらに、情報処理装置３は、予め定められた期間Ｄにおいて計測領域１８Ａ，１８Ｂに計数された魚の数を利用した統計処理によって、期間Ｄに計測領域１８Ａ，１８Ｂを通過した魚の数を確定する機能を備えている。このような機能を情報処理装置３が備えていることにより、情報処理装置３およびそれを備える計数システム１は、単独の計測領域から計数対象の魚を検知して計数する場合に比べて、計数結果に対する正確性および信頼性を高めることができる。 The information processing device 3 of the first embodiment detects the fish to be counted in a plurality of measurement areas 18A, 18B located at intervals in the movement direction (upstream direction) of the fish to be counted, and detects the detected fish. Equipped with a function to count. Furthermore, the information processing device 3 has a function of determining the number of fish that passed through the measurement areas 18A, 18B during the period D by statistical processing using the number of fish counted in the measurement areas 18A, 18B during the predetermined period D. It is equipped with Since the information processing device 3 is equipped with such a function, the information processing device 3 and the counting system 1 equipped with the information processing device 3 can perform counting by detecting and counting fish to be counted from a single measurement area. Accuracy and confidence in the results can be increased.

＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の情報処理装置および計数システムを構成する構成部分と同じ名称部分には同じ符号を付し、その共通部分の重複説明は省略する。 <Second embodiment>
A second embodiment of the present invention will be described below. In addition, in the description of the second embodiment, the same reference numerals are given to the same name parts as the components constituting the information processing apparatus and counting system of the first embodiment, and redundant explanation of the common parts will be omitted.

カメラ５による撮影画像に映る川面１０Ｓの状況や、計測領域の周辺状況は、時間帯や天候や気温や時季などの様々な要因によって変化する。また、計数対象の魚によっては、同じ計測領域であっても時季により大きさや形が変化する。このような撮影画像における川面１０Ｓの状況変化や計数対象の魚の変化は、検知部２１による検知結果に影響を与える。このことを考慮した構成を第２実施形態の情報処理装置３および計数システム１は備え、これにより、計数対象の移動体である魚の計数結果に対する正確性および信頼性のより一層の向上を図る。 The situation of the river surface 10S and the surrounding situation of the measurement area reflected in the image taken by the camera 5 change depending on various factors such as the time of day, weather, temperature, and season. Furthermore, depending on the fish to be counted, the size and shape may change depending on the season even in the same measurement area. Changes in the situation of the river surface 10S and changes in the fish to be counted in such captured images affect the detection results by the detection unit 21. The information processing device 3 and counting system 1 of the second embodiment have a configuration that takes this into consideration, thereby further improving the accuracy and reliability of the counting results of fish, which are moving objects to be counted.

すなわち、図９は、第２実施形態における情報処理装置３を備えた計数システム１の構成を簡略化して表すブロック図である。図１０は、第２実施形態における情報処理装置３の構成を簡略化して表すブロック図である。 That is, FIG. 9 is a block diagram showing a simplified configuration of the counting system 1 including the information processing device 3 in the second embodiment. FIG. 10 is a block diagram showing a simplified configuration of the information processing device 3 in the second embodiment.

図９に表されるように、計数システム１は、第１実施形態の構成に加えて、情報取得装置８を備えている。情報取得装置８は、計測領域１８Ａ，１８Ｂの周辺の環境情報を取得すべく、センサ２６や外部の情報提供源２７に接続されており、当該センサ２６や情報提供源２７から情報を取得する機能を備えている。センサ２６は、例えば、気温センサや湿度センサや光量センサなどのセンサである。情報提供源２７は、例えば、計測領域１８Ａ，１８Ｂの周辺の天候に関する情報を提供するサーバ装置や、魚道１０の管理情報を提供するサーバ装置である。第２実施形態では、カメラ５による撮影画像から計数対象の魚を検知する処理において、検知結果に影響を与える環境要因（例えば、天候や光量や水量（水流））が予め想定される。そして、想定された環境要因に関する情報を取得するために各種のセンサや情報提供源の中から適宜に選択された種類のセンサや情報提供源がセンサ２６や情報提供源２７として設定される。なお、情報取得装置８が情報を取得するセンサは１種類でもよいし、必要に応じて複数種であってもよい。また、情報取得装置８が情報を取得する情報提供源２７は１つであってもよいし、複数であってもよい。さらに、情報取得装置８は、センサ２６と情報提供源２７の一方から情報を取得してもよい。また、情報取得装置８によって取得される情報には、センサ２６による検知日時の情報や、情報提供源２７から提供された情報が表す日時の情報が含まれている。 As shown in FIG. 9, the counting system 1 includes an information acquisition device 8 in addition to the configuration of the first embodiment. The information acquisition device 8 is connected to a sensor 26 and an external information source 27 in order to acquire environmental information around the measurement areas 18A and 18B, and has a function of acquiring information from the sensor 26 and the information source 27. It is equipped with The sensor 26 is, for example, a temperature sensor, a humidity sensor, a light amount sensor, or the like. The information providing source 27 is, for example, a server device that provides information regarding the weather around the measurement areas 18A, 18B, or a server device that provides management information for the fishway 10. In the second embodiment, in the process of detecting fish to be counted from images captured by the camera 5, environmental factors (for example, weather, amount of light, amount of water (water flow)) that influence the detection results are assumed in advance. Then, in order to obtain information regarding the assumed environmental factors, sensors and information sources of appropriate types selected from various sensors and information sources are set as the sensor 26 and the information source 27. Note that the information acquisition device 8 may acquire information from one type of sensor, or may use multiple types as necessary. Moreover, the information providing source 27 from which the information acquisition device 8 acquires information may be one or more. Further, the information acquisition device 8 may acquire information from either the sensor 26 or the information source 27. Further, the information acquired by the information acquisition device 8 includes information on the date and time of detection by the sensor 26 and information on the date and time represented by the information provided from the information source 27.

情報取得装置８は、例えば、記憶装置（図示せず）を内蔵あるいは外付けしており、取得した情報をその記憶装置に格納する。このように情報取得装置８により取得されて記憶装置に格納された情報は、例えば、通信装置６がカメラ５による撮影画像を情報処理装置３に送信する際に、当該撮影画像に関連付けられて通信装置６により送信される。あるいは、そのように情報取得装置８に取得された情報は、カメラ５の撮影画像が情報処理装置３に送信されるタイミングとは異なるタイミングでもって情報処理装置３に送信されてもよい。 The information acquisition device 8 has, for example, a built-in or external storage device (not shown), and stores the acquired information in the storage device. For example, when the communication device 6 transmits an image taken by the camera 5 to the information processing device 3, the information acquired by the information acquisition device 8 and stored in the storage device is associated with the photographed image and communicated. transmitted by device 6. Alternatively, the information acquired by the information acquisition device 8 in this manner may be transmitted to the information processing device 3 at a timing different from the timing at which the captured image of the camera 5 is transmitted to the information processing device 3.

情報処理装置３は、情報取得装置８から情報を受信すると、当該受信した情報を記憶装置３０に格納する。 When information processing device 3 receives information from information acquisition device 8 , information processing device 3 stores the received information in storage device 30 .

なお、情報取得装置８は、図９の例では、ユーザ端末７とは別に図示されているが、ユーザ端末７に組み込まれていてもよい。この場合には、情報取得装置８により取得されたセンサ２６や情報提供源２７の情報は、通信装置６に代えてユーザ端末７により、例えば、カメラ５による撮影画像が通信装置６により送信されるタイミングに合わせて情報処理装置３に送信される。あるいは、ユーザ端末７に送信指令がユーザによって加えられた場合には、その指令に応じて、ユーザ端末７が情報処理装置３に送信する。また、情報取得装置８がユーザ端末７に組み込まれている場合には、例えば、ユーザ端末７は、ユーザによる操作によって、情報取得装置８により取得されたセンサ２６や情報提供源２７の情報を表示装置に表示する機能を備えていてもよい。 Although the information acquisition device 8 is shown separately from the user terminal 7 in the example of FIG. 9, it may be incorporated into the user terminal 7. In this case, the information of the sensor 26 and the information source 27 acquired by the information acquisition device 8 is transmitted by the user terminal 7 instead of the communication device 6, for example, an image taken by the camera 5 is transmitted by the communication device 6. It is transmitted to the information processing device 3 in accordance with the timing. Alternatively, if the user issues a transmission command to the user terminal 7, the user terminal 7 transmits to the information processing device 3 in accordance with the command. Further, when the information acquisition device 8 is incorporated in the user terminal 7, the user terminal 7, for example, displays the information of the sensor 26 and the information providing source 27 acquired by the information acquisition device 8 through the user's operation. The device may also have a display function.

情報処理装置３の記憶装置３０には、複数のモデル３２Ａ，３２Ｂ，３２Ｃが格納されている。これらモデル３２Ａ，３２Ｂ，３２Ｃは、検知部２１が撮影画像から計数対象の魚を検知する処理で利用する移動体検知用のモデルであり、第１実施形態におけるモデル３２と同様に、機械学習により生成されるモデルである。第２実施形態では、前述したような検知結果に影響を与える環境要因に基づき、カメラ５により撮影される計測領域１８Ａ，１８Ｂの撮影環境が複数の撮影環境が分けられている。モデル３２Ａ，３２Ｂ，３２Ｃは、それら複数の撮影環境にそれぞれ応じたモデルであり、それぞれ、対応する撮影環境を表す情報（例えば、天候や光量）に関連付けられて記憶装置３０に格納されている。なお、モデル３２Ａ，３２Ｂ，３２Ｃに関連付けられている撮影環境を表す情報は、情報取得装置８により取得される情報により表される情報である。また、図１０の例では、３つのモデル３２Ａ，３２Ｂ，３２Ｃが表されているが、第２実施形態では、モデルの数は複数であればよく、３つに限定されない。つまり、モデルの数は、前述したような検知結果に影響を与える環境要因に基づいて分けられた撮影環境の数に応じた数であり、２つでもよいし、４つ以上でもよい。 The storage device 30 of the information processing device 3 stores a plurality of models 32A, 32B, and 32C. These models 32A, 32B, and 32C are moving object detection models used by the detection unit 21 in the process of detecting fish to be counted from captured images, and similarly to the model 32 in the first embodiment, they are based on machine learning. This is the model that will be generated. In the second embodiment, the photographing environments of the measurement areas 18A and 18B photographed by the camera 5 are divided into a plurality of photographing environments based on the environmental factors that influence the detection results as described above. The models 32A, 32B, and 32C are models corresponding to each of the plurality of shooting environments, and are stored in the storage device 30 in association with information representing the corresponding shooting environment (for example, weather and amount of light). Note that the information representing the photographing environment associated with the models 32A, 32B, and 32C is information represented by information acquired by the information acquisition device 8. Further, in the example of FIG. 10, three models 32A, 32B, and 32C are shown, but in the second embodiment, the number of models may be plural and is not limited to three. In other words, the number of models corresponds to the number of shooting environments divided based on the environmental factors that influence the detection results as described above, and may be two, four or more.

制御装置２０は、第１実施形態の構成に加えて、機能部として、モデル選択部２８が設けられている。モデル選択部２８は、検知部２１による検知処理にて利用される移動体検知用のモデルを記憶装置３０から選択する機能を備えている。モデル選択部２８は、モデルを選択する場合に、情報取得装置８により取得された情報のうち、検知部２１による検知処理対象の撮影画像が撮影された日時を含む情報を取得する。そして、モデル選択部２８は、取得した情報に対応する撮影環境に関連付けられているモデルを、記憶装置３０に格納されているモデル３２Ａ，３２Ｂ，３２Ｃの中から選択する。このように選択されたモデルを検知部２１は検知処理で利用する。 In addition to the configuration of the first embodiment, the control device 20 is provided with a model selection section 28 as a functional section. The model selection unit 28 has a function of selecting a model for detecting a moving object from the storage device 30 to be used in the detection processing by the detection unit 21. When selecting a model, the model selection unit 28 acquires, from among the information acquired by the information acquisition device 8, information including the date and time when the image to be detected by the detection unit 21 was photographed. Then, the model selection unit 28 selects a model associated with the photographing environment corresponding to the acquired information from among the models 32A, 32B, and 32C stored in the storage device 30. The detection unit 21 uses the model selected in this way in detection processing.

第２実施形態の情報処理装置３および計数システム１では、カメラ５によって計測領域１８Ａ，１８Ｂを撮影する際の撮影環境を考慮した複数の移動体検知用のモデルが生成され、撮影環境に応じたモデルを利用して撮影画像から計数対象の魚が検知される。これにより、第２実施形態の情報処理装置３および計数システム１は、撮影画像から計数対象の魚を検知する場合に撮影環境の変化が検知結果に与える悪影響を小さくでき、計数対象の魚の検知結果に対する正確性および信頼性の向上を図ることができる。 In the information processing device 3 and the counting system 1 of the second embodiment, a plurality of moving object detection models are generated that take into account the shooting environment when the measurement areas 18A and 18B are photographed by the camera 5, and Fish to be counted are detected from captured images using the model. As a result, the information processing device 3 and the counting system 1 of the second embodiment can reduce the negative influence that changes in the photographing environment have on the detection results when detecting fish to be counted from photographed images, and It is possible to improve the accuracy and reliability of

＜その他の実施形態＞
本発明は第１や第２の実施形態に限定されず、様々な実施の形態を採り得る。例えば、魚道には様々なタイプの構造があり、魚道の構造タイプは、図２に表されるような隔壁１１が設けられるタイプに限定されない。計測領域およびカメラ５の設置位置は、魚道の構造タイプを考慮し、遡上する魚が撮影されやすい領域に設定されればよい。また、計測領域は、撮影画像における計数対象の移動体の映り易さを考慮して魚道以外の場所に設定されてもよい。 <Other embodiments>
The present invention is not limited to the first and second embodiments, and can take various embodiments. For example, there are various types of fishway structures, and the structure type of the fishway is not limited to the type in which the partition wall 11 as shown in FIG. 2 is provided. The measurement area and the installation position of the camera 5 may be set in an area where fish swimming upstream can be easily photographed, taking into account the type of structure of the fishway. Further, the measurement area may be set at a location other than the fishway, taking into account the ease with which the moving object to be counted is reflected in the photographed image.

また、第１と第２の実施形態では、複数の計測領域１８Ａ，１８Ｂは、同じカメラ５の撮影範囲内に設定されるという如く、近接配置されている。これに代えて、複数の計測領域１８Ａ，１８Ｂは、カメラ５の撮影範囲を超える間隔を介して、計数対象の魚の移動方向に離れて設定されてもよい。この場合には、例えば、複数の計測領域１８Ａ，１８Ｂは、それぞれ、互いに異なるカメラ５により撮影される。 Further, in the first and second embodiments, the plurality of measurement areas 18A and 18B are arranged close to each other such that they are set within the photographing range of the same camera 5. Alternatively, the plurality of measurement areas 18A and 18B may be set apart from each other in the movement direction of the fish to be counted, with an interval exceeding the photographing range of the camera 5. In this case, for example, the plurality of measurement areas 18A and 18B are respectively photographed by different cameras 5.

さらに、そのように、複数の計測領域１８Ａ，１８Ｂが離れている場合には、計測領域１８Ａでの計数対象の魚の遡上状況と、計測領域１８Ｂでの計数対象の魚の遡上状況とが異なる場合がある。このような場合には、確定部２４は、第１や第２の実施形態で説明した統計処理に代えて、次のような統計処理を行ってもよい。例えば、確定部２４は、所定の期間Ｄにおいて計測領域１８Ａで計数された計数対象の魚の数と、所定の期間Ｄにおいて計測領域１８Ｂで計数された計数対象の魚の数とのそれぞれ、計測領域１８Ａ，１８Ｂの状況に応じた重み付けをする。そして、確定部２４は、重み付けされた計測領域１８Ａにおける計数対象の魚の数と、重み付けされた計測領域１８Ｂにおける計数対象の魚の数との平均値を算出する。確定部２４は、当該平均値を、期間Ｄにおいて計測領域１８Ａ，１８Ｂを通過した計数対象の魚の数として確定する。 Furthermore, when the plurality of measurement areas 18A and 18B are separated from each other, the upstream migration status of the fish to be counted in the measurement area 18A is different from the upstream status of the fish to be counted in the measurement area 18B. There are cases. In such a case, the determining unit 24 may perform the following statistical processing instead of the statistical processing described in the first and second embodiments. For example, the determining unit 24 determines the number of fish to be counted counted in the measurement area 18A during the predetermined period D and the number of fish to be counted counted in the measurement area 18B during the predetermined period D, respectively. , 18B are weighted according to the situation. Then, the determination unit 24 calculates the average value of the number of fish to be counted in the weighted measurement area 18A and the number of fish to be counted in the weighted measurement area 18B. The determining unit 24 determines the average value as the number of fish to be counted that passed through the measurement areas 18A and 18B during the period D.

さらに、第１と第２の実施形態では、計測領域は２箇所であったが、計測領域は３箇所以上であってもよい。計測領域が３箇所以上である場合に、それら計測領域における計数対象の魚の状況が異なる場合には、上述したように、確定部３４は、それぞれの計測領域で計数された計数対象の魚の数に、計測領域に応じて定められた重み付けする。そして、確定部３４は、重み付けした値を利用して統計処理を実行する。さらに、確定部３４が実行する統計処理は、平均値を算出する統計処理に限定されず、確定部３４は、適宜に他の統計処理を採用して複数の計測領域を通過する計数対象の魚の数を確定してよい。 Furthermore, in the first and second embodiments, there were two measurement areas, but there may be three or more measurement areas. When there are three or more measurement areas and the conditions of the fish to be counted in these measurement areas are different, as described above, the determining unit 34 adjusts the number of fish to be counted counted in each measurement area. , weighting is determined according to the measurement area. The determining unit 34 then performs statistical processing using the weighted values. Further, the statistical processing performed by the determining unit 34 is not limited to statistical processing for calculating an average value, and the determining unit 34 may appropriately employ other statistical processing to calculate the number of fish to be counted that pass through a plurality of measurement areas. You can confirm the number.

さらに、例えば、魚道１０の幅が広い場合には、魚道１０の幅方向に複数のカメラ５を並設し、１つの計測領域が複数のカメラ５により撮影されてもよい。この場合には、魚道１０の幅方向に並設されている複数のカメラにそれぞれ対応するように１つの計測領域が複数に区分される。そして、それら区分領域毎に撮影画像から計数対象の魚の数が検知・計数され、当該計数された区分領域毎の魚の数を合計した値が前記１つの計測領域における計数対象の魚の数となる。このように算出された計測領域における計数値を利用して、確定部２４が、期間Ｄにおいて複数の計測領域を通過した計数対象の魚の数を確定する。 Furthermore, for example, when the width of the fishway 10 is wide, a plurality of cameras 5 may be arranged in parallel in the width direction of the fishway 10, and one measurement area may be photographed by the plurality of cameras 5. In this case, one measurement area is divided into a plurality of regions so as to correspond to the plurality of cameras arranged in parallel in the width direction of the fishway 10, respectively. Then, the number of fish to be counted is detected and counted from the photographed image for each of these divided areas, and the sum of the counted numbers of fish for each divided area becomes the number of fish to be counted in the one measurement area. Using the count values in the measurement areas calculated in this way, the determination unit 24 determines the number of fish to be counted that passed through the plurality of measurement areas during period D.

さらに、第１と第２の実施形態では、魚を計数対象としたが、他の移動体を計数する情報処理装置および計数システムに本発明を適用してもよい。さらに、第１と第２の実施形態では、計数対象の移動体（魚）は１種類である。これに代えて、例えば、情報処理装置３および計数システム１は、複数種の移動体（魚）を計数してもよい。この場合には、例えば、鮎とボラのそれぞれの画像を教師データとした機械学習によって、鮎を検知するためのモデルと、ボラを検知するためのモデルとが生成されるというように、計数対象の種類毎のモデルが機械学習により生成される。検知部２１は、それらモデルを利用して、撮影画像から種類毎に移動体（魚）を検知する。この場合は、検知された画像には、種類に応じた識別情報が付与される。そして、検知された種類毎に、補正部２２による補正処理と、計数部２３による計数処理と、確定部２４による処理とが実行される。 Furthermore, in the first and second embodiments, fish are counted, but the present invention may be applied to information processing devices and counting systems that count other moving objects. Furthermore, in the first and second embodiments, there is only one type of moving object (fish) to be counted. Alternatively, for example, the information processing device 3 and the counting system 1 may count multiple types of moving objects (fish). In this case, for example, a model for detecting sweetfish and a model for detecting mullet are generated by machine learning using images of sweetfish and mullet as training data. A model for each type is generated by machine learning. The detection unit 21 uses these models to detect moving objects (fish) for each type from the photographed images. In this case, the detected image is given identification information according to its type. Then, for each detected type, a correction process by the correction unit 22, a counting process by the counting unit 23, and a process by the determining unit 24 are executed.

さらに、第２実施形態で説明した情報取得装置８は、カメラ５による撮影画像から、撮影環境を表す情報として、計測領域１８Ａ，１８Ｂの周辺の光量を取得する機能を備えていてもよい。この場合には、撮影画像と光量との関係が機械学習され当該機械学習の結果が情報取得装置８により利用される。さらに、第１と第２の実施形態において、計測領域１８Ａ，１８Ｂにおける魚の移動方向Ｕの長さＬは、計数対象の魚の体長と同様な長さに設定されているが、この長さに限定されない。例えば、検知部２１により検知処理が実行されるフレーム間の時間間隔と、計数対象の魚の遡上する速さとを考慮して、計測領域１８Ａ，１８Ｂにおける魚の移動方向Ｕの長さＬは適宜設定される。 Further, the information acquisition device 8 described in the second embodiment may have a function of acquiring the amount of light around the measurement areas 18A and 18B from the image taken by the camera 5 as information representing the photographing environment. In this case, the relationship between the photographed image and the amount of light is learned by machine learning, and the results of the machine learning are used by the information acquisition device 8. Furthermore, in the first and second embodiments, the length L in the movement direction U of the fish in the measurement areas 18A and 18B is set to the same length as the body length of the fish to be counted, but is limited to this length. Not done. For example, the length L in the moving direction U of the fish in the measurement areas 18A and 18B is set as appropriate, taking into consideration the time interval between frames in which the detection process is executed by the detection unit 21 and the speed at which the fish to be counted go upstream. be done.

図１１は、本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。図１１に示される情報処理装置４０は、検知部４１と、計数部４２と、確定部４３とを備えている。検知部４１は、計数対象の移動体が移動する移動方向に沿って設定されている複数の計測領域のうちの少なくとも一計測領域が撮影されている撮影画像から移動体を検知する機能を備える。計数部４２は、複数の計測領域毎に、検知された移動体を計数する機能を備える。確定部４３は、予め定められた期間において複数の計測領域毎に計数された移動体の数を利用した統計処理によって、その期間に複数の計測領域を通過した計数対象の移動体の数を確定する機能を備える。上述しました検知部４１と計数部４２と確定部４３は、それぞれ、第１や第２の実施形態において説明した検知部２１と計数部２３と確定部２４と同様に実現可能であり、同様に動作することにより、第１および第２の実施形態と同様な効果を得ることができる。 FIG. 11 is a block diagram showing a simplified configuration of an information processing device according to another embodiment of the present invention. The information processing device 40 shown in FIG. 11 includes a detection section 41, a counting section 42, and a determining section 43. The detection unit 41 has a function of detecting a moving object from a photographed image in which at least one measurement area among a plurality of measurement areas set along the movement direction of the moving object to be counted moves. The counting unit 42 has a function of counting detected moving objects for each of a plurality of measurement areas. The determination unit 43 determines the number of moving objects to be counted that have passed through the plurality of measurement areas in a predetermined period by statistical processing using the number of moving objects counted in each of the plurality of measurement areas in the predetermined period. It has the function to The detection unit 41, counting unit 42, and determining unit 43 described above can be realized in the same manner as the detecting unit 21, counting unit 23, and determining unit 24 described in the first and second embodiments, respectively. By operating, the same effects as in the first and second embodiments can be obtained.

このような構成を持つ情報処理装置４０は、例えば、図１２に表されるような計数システム５０に組み込まれる。計数システム５０は、情報処理装置４０と、撮影装置６０とを備える。撮影装置６０は、計数対象の移動体が移動する移動方向に沿って設定されている複数の計測領域を撮影する装置である。 The information processing device 40 having such a configuration is incorporated into a counting system 50 as shown in FIG. 12, for example. The counting system 50 includes an information processing device 40 and a photographing device 60. The photographing device 60 is a device that photographs a plurality of measurement areas set along the moving direction in which the moving object to be counted moves.

このような情報処理装置４０とそれを備える計数システム５０は、予め定められた期間において複数の計測領域毎に計数された移動体の数を利用した統計処理によって、その期間に複数の計測領域を通過した計数対象の移動体の数を確定する機能を備える。これにより、情報処理装置４０と計数システム５０は、計測領域から検知した計数対象の移動体を単に計数する場合に比べて、計数対象の移動体を計数した計数結果に対する正確性および信頼性の向上を図ることができる。 Such an information processing device 40 and a counting system 50 equipped with the same perform statistical processing using the number of moving objects counted in each of a plurality of measurement regions during a predetermined period. Equipped with a function to determine the number of moving objects to be counted that have passed. As a result, the information processing device 40 and the counting system 50 improve the accuracy and reliability of the counting results obtained by counting the moving objects to be counted, compared to simply counting the moving objects to be counted detected from the measurement area. can be achieved.

１，５０ 計数システム
３，４０ 情報処理装置
５ カメラ
２１，４１ 検知部
２２ 補正部
２３，４２ 計数部
２４，４３ 確定部
６０ 撮影装置 1,50 Counting System 3,40 Information Processing Device 5 Camera 21,41 Detection Unit 22 Correction Unit 23,42 Counting Unit 24,43 Determining Unit 60 Photographing Device

Claims (8)

計数対象の移動体が移動する移動方向に沿って設定されている複数の計測領域のうちの少なくとも一計測領域が撮影されている撮影画像から移動体を検知する検知部と、
検知された前記移動体の大きさと形状のうちの一方又は両方に関わる情報と、検知された前記移動体の位置の情報とに基づいて、大きさと形状のうちの一方又は両方が同じ、かつ、位置が移動していないと判断された前記移動体を、前記検知部により検知された前記移動体の中から削除する補正部と、
前記複数の計測領域毎に、検知された前記移動体を計数する計数部と、
予め定められた期間において前記複数の計測領域毎に計数された前記移動体の数を利用した統計処理によって、前記期間に前記複数の計測領域を通過した計数対象の前記移動体の数を確定する確定部と
を備える情報処理装置。 a detection unit that detects a moving object from a captured image in which at least one measurement area among a plurality of measurement areas set along a moving direction in which the moving object to be counted moves;
Based on information related to one or both of the detected size and shape of the moving body and information on the detected position of the moving body, one or both of the size and shape are the same, and a correction unit that deletes the moving body whose position is determined not to have moved from among the moving bodies detected by the detection unit;
a counting unit that counts the detected moving objects for each of the plurality of measurement areas;
The number of the moving objects to be counted that passed through the plurality of measurement areas during the period is determined by statistical processing using the number of the moving objects counted for each of the plurality of measurement areas during the predetermined period. An information processing device comprising: a determining section. 前記確定部が実行する統計処理は、前記複数の計測領域毎に計数された前記移動体の数の平均値を算出する統計処理である請求項１に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the statistical processing executed by the determining unit is statistical processing for calculating an average value of the number of moving objects counted for each of the plurality of measurement regions. 前記確定部は、前記複数の計測領域毎に計数された前記移動体の数に、前記複数の計測領域のそれぞれに設定された重み付けをして統計処理を行う請求項１または請求項２に記載の情報処理装置。 3. The determining unit performs statistical processing by weighting the number of moving objects counted for each of the plurality of measurement regions, with a weight set for each of the plurality of measurement regions. information processing equipment. 前記検知部は、前記移動体の画像を機械学習することによって得られた移動体検知用のモデルを利用して、前記撮影画像から前記移動体を検知する請求項１乃至請求項３の何れか一つに記載の情報処理装置。 4. The detection unit detects the moving object from the photographed image using a model for detecting a moving object obtained by machine learning the image of the moving object. The information processing device described in item 1. 前記計測領域の環境変化に応じて生成された複数の移動体検知用のモデルの中から、前記撮影画像が撮影されたときの前記計測領域の環境を表す環境情報を利用して、前記検知部が利用する前記移動体検知用のモデルを選択するモデル選択部をさらに備える請求項１乃至請求項４の何れか一つに記載の情報処理装置。 The detection unit uses environmental information representing the environment of the measurement area at the time the captured image was captured, from among a plurality of moving object detection models generated in response to changes in the environment of the measurement area. The information processing apparatus according to any one of claims 1 to 4 , further comprising a model selection unit that selects the model for detecting the moving object to be used by the information processing apparatus. 計数対象の移動体が移動する移動方向に沿って設定されている複数の計測領域を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像における前記計測領域から移動体を検知する検知部と、検知された前記移動体の大きさと形状のうちの一方又は両方に関わる情報と、検知された前記移動体の位置の情報とに基づいて、大きさと形状のうちの一方又は両方が同じ、かつ、位置が移動していないと判断された前記移動体を、前記検知部により検知された前記移動体の中から削除する補正部と、前記複数の計測領域毎に、検知された前記移動体を計数する計数部と、予め定められた期間において前記複数の計測領域毎に計数された前記移動体の数を利用した統計処理によって、前記期間に前記複数の計測領域を通過した前記移動体の数を確定する確定部とを備える情報処理装置と
を有する計数システム。 a photographing device that photographs a plurality of measurement areas set along a moving direction in which a moving object to be counted moves;
a detection unit that detects a moving object from the measurement area in the photographed image taken by the photographing device; information related to one or both of the size and shape of the detected moving object; and the detected moving object. Based on the position information of a correction unit that counts the detected moving objects for each of the plurality of measurement areas, and a counting unit that counts the number of the detected moving objects for each of the plurality of measurement areas in a predetermined period. A counting system comprising: a determining unit that determines the number of moving objects that have passed through the plurality of measurement areas during the period by statistical processing used. 計数対象の移動体が移動する移動方向に沿って設定されている複数の計測領域のうちの少なくとも一計測領域が撮影されている撮影画像から移動体を検知し、
検知された前記移動体の大きさと形状のうちの一方又は両方に関わる情報と、検知された前記移動体の位置の情報とに基づいて、大きさと形状のうちの一方又は両方が同じ、かつ、位置が移動していないと判断された前記移動体を、検知された前記移動体の中から削除し、
前記複数の計測領域毎に、検知された前記移動体を計数し、
予め定められた期間において前記複数の計測領域毎に計数された前記移動体の数を利用した統計処理によって、前記期間に前記複数の計測領域を通過した前記移動体の数を確定する
計数方法。 Detecting a moving object from a photographed image in which at least one measurement area among a plurality of measurement areas set along a moving direction in which the moving object to be counted moves;
Based on information related to one or both of the detected size and shape of the moving body and information on the detected position of the moving body, one or both of the size and shape are the same, and Deleting the moving object whose position is determined not to have moved from among the detected moving objects,
counting the detected moving objects for each of the plurality of measurement areas;
A counting method that determines the number of moving objects that have passed through the plurality of measurement areas during the period by statistical processing using the number of the moving objects counted for each of the plurality of measurement areas during a predetermined period. 計数対象の移動体が移動する移動方向に沿って設定されている複数の計測領域のうちの少なくとも一計測領域が撮影されている撮影画像から移動体を検知する処理と、
検知された前記移動体の大きさと形状のうちの一方又は両方に関わる情報と、検知された前記移動体の位置の情報とに基づいて、大きさと形状のうちの一方又は両方が同じ、かつ、位置が移動していないと判断された前記移動体を、検知された前記移動体の中から削除する処理と、
前記複数の計測領域毎に、検知された前記移動体を計数する処理と、
予め定められた期間において前記複数の計測領域毎に計数された前記移動体の数を利用した統計処理によって、前記期間に前記複数の計測領域を通過した前記移動体の数を確定する処理と
をコンピュータにより実行させるコンピュータプログラム。 A process of detecting a moving object from a captured image in which at least one measurement area among a plurality of measurement areas set along a movement direction in which the moving object to be counted moves;
Based on information related to one or both of the detected size and shape of the moving body and information on the detected position of the moving body, one or both of the size and shape are the same, and a process of deleting the moving object whose position is determined not to have moved from among the detected moving objects;
a process of counting the detected moving objects for each of the plurality of measurement areas;
A process of determining the number of moving objects that passed through the plurality of measurement areas during the period by statistical processing using the number of the moving objects counted for each of the plurality of measurement areas during a predetermined period. A computer program executed by a computer.

Images