JP7250155B2 - 魚計数システム、魚計数方法及びプログラム - Google Patents
魚計数システム、魚計数方法及びプログラム Download PDFInfo
- Publication number
- JP7250155B2 JP7250155B2 JP2021548836A JP2021548836A JP7250155B2 JP 7250155 B2 JP7250155 B2 JP 7250155B2 JP 2021548836 A JP2021548836 A JP 2021548836A JP 2021548836 A JP2021548836 A JP 2021548836A JP 7250155 B2 JP7250155 B2 JP 7250155B2
- Authority
- JP
- Japan
- Prior art keywords
- fish
- display
- unit
- counting
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000251468 Actinopterygii Species 0.000 title claims description 189
- 238000000034 method Methods 0.000 title claims description 12
- 238000012937 correction Methods 0.000 claims description 95
- 238000001514 detection method Methods 0.000 claims description 23
- 239000012530 fluid Substances 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
- A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Farming Of Fish And Shellfish (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本開示は、魚計数システム、魚計数方法及びプログラムに関する。
マグロ等の魚の養殖において正確な魚数を把握し、餌代の削減や計画的な生産を行うことが好ましい。従来では、魚を第1生簀から第2生簀へ移動させ、移動する魚を撮影することで魚を計数する。撮影した動画をスロー再生しながら、目視で魚数をカウントしていたため、工数増および正確性に欠けていた。
特許文献1には、河川等の魚道を通る魚を計数するために、複数のカメラを用いて通過する魚を計数するシステムが開示されている。
しかしながら、カメラによる計数は、太陽の向きや水の濁り等の撮像環境の変化に依存して精度が変動する場合がある。また、多数の魚が一斉に移動した場合に魚の重複によって誤計数が発生する場合がある。
したがって、誤って計数する場合があるので、計数結果を手動で補正できることが好ましい。しかし、誤計数したかどうかを、長時間撮影した動画を全て目視して確認することは煩わしく、工数増となってしまう。
本開示は、誤計数を容易に補正可能な魚計数システム、魚計数方法及びプログラムを提供する。
本開示の魚計数システムは、魚を含む流体を経時的に撮影した複数枚の画像を取得する画像取得部と、前記複数枚の画像に基づき魚の数を計数する計数部と、単位時間あたりに計数した魚の数に対応する表示が時系列に沿って配置された魚数変化表示を提供する魚数変化表示提供部と、計数済の魚を示す計数済マークが付された画像を含む計数結果表示を提供する結果提供部と、補正操作を受け付けて前記魚の数を補正する補正部と、を備える。
誤計数が生じやすいのは、多数の魚が一斉に通過するときが多く、単位時間あたりに計数した魚が多いときである。この構成によれば、単位時間あたりに計数した魚の数に対応する表示が時系列に沿って配置された魚数変化表示を提供する。これにより、全ての時間の画像を目視しなくても、多数の魚が一斉に通過する誤計数が生じやすい時点を把握可能となる。そして、計数済の魚を示す計数済マークが付された画像を含む計数結果表示を視認して確認し、補正操作を通じて補正可能となる。したがって、誤計数を容易に補正可能となる。
以下に、本開示の実施形態について図面を参照しながら説明する。
図1に示すように、魚計数システム3は、複数枚の画像に基づいて魚の数を計数し、計数結果の表示をディスプレイ4等の提供先に提供し、操作部5を介して補正操作を受け付け魚の数を補正可能に構成されている。複数枚の画像は、魚1を含む流体が流れる撮影領域をカメラ2で経時的に撮影して得られる。図1は例示であり、第1生簀と第2生簀を直接接続して、第1生簀から第2生簀にマグロなどの魚を移動させる。第2生簀の入り口近傍にカメラを配置することで、第2生簀に移動した魚を計数し、全体の魚の数を把握する。なお、カメラの設置方向は図1に示す例示に限定されない。例えば、第1生簀の出口に設置することなどが挙げられる。
なお、本実施形態において、魚計数システム3は、ディスプレイ4及び操作部5(タッチパネル、マウスなどのデバイス)が接続されたコンピュータにおいて実現されるが、これに限定されない。例えば、魚計数システム3をサーバ又はクラウドで実現し、サーバ又はクラウドと通信可能なコンピュータのディスプレイ4及び操作部5を用いてもよい。
図2は、撮影した画像を示す図である。カメラ2の向きを所定向きに設置する。所定向きは、図2に示すように、画像の縁の一部を第1領域Ar1とし、その他の縁を第2領域Ar2とし、第1領域Ar1が第1生簀に近くなるようにする。このような所定向きにカメラ2を設置することで、第1生簀から第2生簀に移動する魚が、必ず第1領域Ar1を通ってから第2領域Ar2に至るようになる。図2では、4辺のうち1辺を第1領域Ar1とし、残りの3辺を第2領域Ar2に設定しているが、これに限定されない。
また、画像の中央部を魚が通過することが多いため、撮影領域は、第1領域Ar1と第2領域Ar2との間に第3領域Ar3を有する。第3領域Ar3は画像の中央部に配置されている。このような配置にすることで、第1領域Ar1を出た魚1が即座に第2領域Ar2に到達せず、複数枚の画像において第3領域Ar3に魚が写るため、認識精度を向上させることが可能となる。なお、第3領域Ar3を省略することも可能である。図1に示すように、第1領域Ar1、第2領域Ar2及び第3領域Ar3に関するエリア設定データD1は、システム3における記憶部39に記憶されている。エリア設定データD1は、初期値が設定されていてもよいし、別途ユーザの操作によって変更可能にされてもよい。本実施形態では、エリア設定データD1は1つのファイルであり、1つのエリア設定データD1(1ファイル)が1つの動画D2に対応して保存される。
魚計数システム3は、図1に示すように、画像取得部30と、計数部34と、結果提供部36と、補正部37と、魚数変化表示提供部38と、記憶部39と、を有する。これら各部30~38は、コンピュータ上における1又は複数のプロセッサに所定プログラムが実行されることにより、ハードウェア及びソフトウェアが協働して実現される。記憶部39は、メモリ、又はストレージ等である。
図1に示す画像取得部30は、魚1を含む流体が流れる撮影領域を経時的に撮影した複数枚の画像を取得する。カメラ2は、例えば30fps(Flames Per Second)で動画を撮影し、システム3の記憶部39に動画D2が保存される。画像取得部30は、動画D2から複数枚の画像を取得する。複数枚の画像は時系列に並んでいる。この明細書において、1枚の画像を1フレーム(frame)と称する場合がある。
図1に示す計数部34は、複数枚の画像に基づき魚の数を計数する。計数部34は、第1領域Ar1にいた魚1が第2領域Ar2に移動した場合に、当該魚1を計数(加算)するように構成されている。具体的に、計数部34は、時系列に並ぶ複数枚の画像の各々に対して、画像処理により魚を抽出し、抽出した魚に対して過去画像の魚の位置に基づき個体を識別するための個体識別ラベルを付与し、第1領域Ar1にいる魚1に対して付与したラベルと同じラベルの魚が第2領域Ar2に到達した場合に、その時点の画像(フレーム)において魚を計数する。この処理は一例であり、魚の数を計数できれば、種々のアルゴリズムを採用可能である。
図1に示すように、計数部34は、計数結果を示す自動計数データD3を記憶部39に保存する。本実施形態では、自動計数データD3は1つのファイルであり、1つの自動計数データD3(1ファイル)が1つの動画D2に対応して保存される。本実施形態では、自動計数データD3は、フレーム毎(画像毎)に計数(加算)した魚の数を有する。図1に示す例において自動計数データD3は、j番目のフレームで計数した魚の数が+3であり、j+1番目のフレームで計数した魚の数が+2であり、j+2番目のフレームで計数した魚の数が+1であり、j+3番目のフレームで計数した魚の数が+4であることを示している。jは自然数であるが、説明の便宜のために用いている。
また、計数部34は、計数済の魚を示す計数済マーク61(図3参照)の位置をフレーム毎に示すマークデータD4を記憶部39に記憶する(図1参照)。マークデータD4は、画像において計数済の魚を示す計数済マーク61(図3参照)を表示するために用いられる。本実施形態では、マークはROI(Region of Interest)表示であり、魚の画像に重ねて矩形の枠が表示されるが、これに限定されず、種々の形状又は色のマークを採用可能である。なお、第1領域Ar1を通過しているが、第2領域Ar2に到達していない未計数且つ計数対象の魚を、計数対象マーク68で表している。計数済マーク61と計数対象マーク68は色違いである。
図3は、計数結果表示60を含む画面の一例を示す。図1に示す結果提供部36は、図3に示すように、計数済の魚を示す計数済マーク61が付された画像62を含む計数結果表示60を提供する。計数済マーク61は、図3において一点鎖線で示す魚の画像に重ねて表示される矩形枠であるが、これに限定されない。ROI(Region of Interest)表示であれば種々変更可能である。図3に示す計数結果表示60は、動画全体での計数値63(図中では12,345尾)、動画全体での補正値64(図中では+18尾)、補正操作を入力するための加算指示表示65及び減算指示表示66、現フレームに対する魚数の補正値67を含む。動画全体での計数値63は、図1に示す自動計数データD3を集計することで得られる。なお、この画面では、動画(複数枚の画像)の再生、一時停止、フレーム単位での画面送り、フレーム単位での画面戻し、時間を指定したフレーム表示、時間を指定しての再生箇所の変更が可能である。
図1に示す補正部37は、補正操作を受け付けて魚の数を補正する。本実施形態では、補正部37は、加算指示表示65又は減算指示表示66への操作に応じて魚の数を補正する。具体的には、加算指示表示65が操作された場合には、現在表示されている画像62(フレーム)に対する魚数の補正値67を+1ずつ増やす。加算指示表示65を操作した数に応じた補正値67となる。例えば、加算指示表示65をp回押せば、補正値67が+pとなる。pは1以上の自然数である。同様に、減算指示表示66が操作された場合には、現在表示されている画像(フレーム)に対する魚数の補正値67を-1ずつ減らす。減算指示表示66を操作した数に応じた補正値67となる。例えば、減算指示表示66をp回押せば、補正値67が-pとなる。pは自然数であるが、説明の便宜のために用いている。
補正部37による補正結果(補正値67)は、図1に示す手動補正データD5として記憶部39に記憶される。本実施形態では、手動補正データD5は1つのファイルであり、1つの手動補正データD5(1ファイル)が1つの動画D2に対応して保存される。本実施形態では、手動補正データD5は、フレーム毎(画像毎)に補正値を有する。図1に示す例において手動補正データD5は、(j+10)番目のフレームで操作された手動での補正値が+10であり、(j+100)番目のフレームでの補正値が+10であり、(j+320)番目のフレームでの補正値が-2であることを示す。図3に示す画面に表示される動画全体での補正値64は、手動補正データD5を集計することで得られる。
図1に示すように、自動計数データD3は、計数部34が計数した魚の数を表す。手動補正データD5は、補正部37が補正した魚の数を表す。手動補正データD5と自動計数データD3は異なるデータである。補正部37は、自動計数データD3を変更せずに、手動補正データD5を変更する。
図1に示す魚数変化表示提供部38は、図3に示す魚数変化表示70を提供する。変化表示70は、単位時間あたりに計数した魚の数に対応する表示71を有し、当該表示71が時系列に沿って配置されている。本実施形態では、図3に示すように、魚数変化表示70は、グラフ表示71を有する。グラフ表示71は、縦に延びる第1軸Ax1が単位時間あたりに計数した魚の数に対応しており、第1軸Ax1に直交する第2軸Ax2が時間経過に対応している。図3の例では、第2軸Ax2に沿って左が過去、右が未来を表している。第1軸Ax1に沿って下方から上方へ行くほど、単位時間あたりに計数した魚数が大きいことを示している。動画D2の撮影時間が長く、一画面に納まらない場合には、スライダーバー72が表示され、スライダーバー72をスライドさせることで、任意の時点を表示することができる。また、変化表示70における視認したい時点を操作すれば、操作で指定した時点のフレームが表示される。なお、本実施形態では、第1軸Ax1が縦方向であるが、横方向であってもよい。本実施形態では、フレーム毎に計数値を管理しているので、単位時間は、1フレームに対応する時間である。30fpsであれば、1/30秒である。勿論、これは例示にすぎず、複数フレームに対応する時間を単位時間として扱ってもよい。
図3に示す例では、単位時間あたりに計数した魚の数を折れ線グラフで示しているが、これは一例にすぎず、種々変更可能である。例えば、棒グラフ等の種々のグラフを採用してもよい。また、計数値としての数字を時系列に沿って配置してもよい。
このように、計数した魚の数に対応する表示71が時系列に沿って配置されているので、全ての時間の画像を視認しなくても、表示71を見ることで、誤計数が生じやすい時点(計数値が多い時点)を把握できる。また、グラフ表示71であれば、グラフのピーク及びその周囲が計数値の多い時点を意味するので、計数値が多い時点を容易に把握可能となる。
図3に示す魚数変化表示70は、現在表示されている画像62(フレーム)の時点を表す現在表示73を有する。また、魚数変化表示70は、加算指示表示65又は減算指示表示66によって補正された時点を示す補正時点表示74を有する。補正時点表示74は、時点だけではなく、補正値の内容(加算であるか減算であるか)を示している。
<動作フロー>
図4を用いて、システム3が実行する処理を説明する。記憶部39に動画D2が記憶されている。所定画面が開かれること、解析指示操作がなされること、又は、新規の動画D2が記憶部39に記憶されること等の所定の解析開始条件が成立した場合に、図4に示すステップST1において、画像取得部30が、動画D2に基づき、魚を含む流体を経時的に撮影した複数枚の画像を取得する。ステップST2において、計数部34が、複数枚の画像に基づき魚の数を計数する。計数結果は、図1に示す自動計数データD3及びマークデータD4として記憶部39に記憶される。図3に示す魚数カウント・分析画面が開かれると、次のステップST3において、魚数変化表示提供部38が、図1に示す自動計数データD3及びマークデータD4に基づき、単位時間あたりに計数した魚の数に対応する表示71が時系列に沿って配置された魚数変化表示70を提供する(図3参照)。また、ステップST4において、結果提供部36は、図3に示すように、計数済の魚を示す計数済マーク61が付された画像62を含む計数結果表示60を提供する。ステップST4は、動画D2の再生又は魚数変化表示70における時点の指定等に応じて繰り返し実行される場合がある。図3に示す加算指示表示65又は減算指示表示66が操作されると、ステップST5において、補正部37は、補正操作を受け付けて魚の数を補正する。補正部37は、補正結果を手動補正データD5として記憶部39に記憶する。
図4を用いて、システム3が実行する処理を説明する。記憶部39に動画D2が記憶されている。所定画面が開かれること、解析指示操作がなされること、又は、新規の動画D2が記憶部39に記憶されること等の所定の解析開始条件が成立した場合に、図4に示すステップST1において、画像取得部30が、動画D2に基づき、魚を含む流体を経時的に撮影した複数枚の画像を取得する。ステップST2において、計数部34が、複数枚の画像に基づき魚の数を計数する。計数結果は、図1に示す自動計数データD3及びマークデータD4として記憶部39に記憶される。図3に示す魚数カウント・分析画面が開かれると、次のステップST3において、魚数変化表示提供部38が、図1に示す自動計数データD3及びマークデータD4に基づき、単位時間あたりに計数した魚の数に対応する表示71が時系列に沿って配置された魚数変化表示70を提供する(図3参照)。また、ステップST4において、結果提供部36は、図3に示すように、計数済の魚を示す計数済マーク61が付された画像62を含む計数結果表示60を提供する。ステップST4は、動画D2の再生又は魚数変化表示70における時点の指定等に応じて繰り返し実行される場合がある。図3に示す加算指示表示65又は減算指示表示66が操作されると、ステップST5において、補正部37は、補正操作を受け付けて魚の数を補正する。補正部37は、補正結果を手動補正データD5として記憶部39に記憶する。
[変形例1]
図3に示す実施形態では、加算指示表示65又は減算指示表示66を操作するだけで、表示中の画像62(フレーム)に対して魚数を補正していたが、これに限定されない。手間がかかるが精度が良い補正方法として、画像62において誤計数された魚または計数されるべき魚の位置を指定して、加算補正または減算補正の補正操作を受けるようにしてもよい。魚の位置の指定方法としては、矩形枠で囲んで位置指定する方法、画像62内の座標を指定する方法などが挙げられる。結果提供部36は、計数済マーク61と共に、補正操作で指定された補正済の魚を示す手動補正マークが付与された画像を提供することが好ましい。このようにすれば、手動補正マークによって補正の根拠が画像62と共に表示されるので、適切な魚数管理が可能となる。図5は、手動補正マークMが付与された画像62を含む画面の一例を示す。
図3に示す実施形態では、加算指示表示65又は減算指示表示66を操作するだけで、表示中の画像62(フレーム)に対して魚数を補正していたが、これに限定されない。手間がかかるが精度が良い補正方法として、画像62において誤計数された魚または計数されるべき魚の位置を指定して、加算補正または減算補正の補正操作を受けるようにしてもよい。魚の位置の指定方法としては、矩形枠で囲んで位置指定する方法、画像62内の座標を指定する方法などが挙げられる。結果提供部36は、計数済マーク61と共に、補正操作で指定された補正済の魚を示す手動補正マークが付与された画像を提供することが好ましい。このようにすれば、手動補正マークによって補正の根拠が画像62と共に表示されるので、適切な魚数管理が可能となる。図5は、手動補正マークMが付与された画像62を含む画面の一例を示す。
[変形例2]
図6は、本実施形態の魚計数システム3の他の構成を模式的に示している。魚計数システム3は、図1の構成に加えて、外乱検知部31をさらに備えていてもよい。外乱検知部31も、画像取得部30等と同様に、コンピュータ上における1又は複数のプロセッサに所定プログラムが実行されることにより、ハードウェア及びソフトウェアが協働して実現される。
図6は、本実施形態の魚計数システム3の他の構成を模式的に示している。魚計数システム3は、図1の構成に加えて、外乱検知部31をさらに備えていてもよい。外乱検知部31も、画像取得部30等と同様に、コンピュータ上における1又は複数のプロセッサに所定プログラムが実行されることにより、ハードウェア及びソフトウェアが協働して実現される。
外乱検知部31は、画像取得部30が取得した画像に基づいて外乱を検知する。そして、外乱検知部31は、時系列に沿って配置される魚数変化表示70において上記外乱を検知した時点に、マーキング表示75を提供する(図7参照)。このとき、外乱検知部31は、上記のマーキング表示75に加えて、外乱の検知内容を示す外乱内容表示76(図7参照)を提供してもよい。
ここで、外乱検知部31は、外乱の種類(評価項目)ごとに、以下の方法で外乱を検知する。
外乱として「直射日光の映り込み」を検知する場合(評価項目が「直射日光の映り込み」である場合)、外乱検知部31は、画像取得部30が取得した画像をブロック状に分割する。詳しくは、縦横ともに画面の1/12の大きさとなる小領域を、画面縦横長の1/24ずつ縦横にずらしながら、画像取得部30が取得した画像を23×23のブロックに分割する。明度の平均が一定値以上であり、かつ、色相の平均が一定値以下であり、かつ、R(赤)、G(緑)、B(青)の各平均値が閾値以上となるブロックが存在する場合、外乱検知部31は、直射日光の映り込みがあると判断する(外乱ありを検知する)。
外乱として「網や構造物などの障害物の映り込み」を検知する場合(評価項目が「障害物の映り込み」である場合)、外乱検知部31は、画像取得部30が取得した画像を、4×4のブロック状に等間隔で分割する。そして、まず、明度の平均が一定値以下であるブロックを障害物候補領域とする。次に、障害物候補領域に隣接し、かつ、障害物候補領域以外のブロックを「海面との境界」候補とする。そして、「海面との境界」候補の各ブロックで明度の分散が一定値以上となるブロックが、障害物候補領域に隣接するブロックの半数以上存在するとき外乱検知部31は、障害物と海面との境界が存在し、障害物が映り込んでいると判断する(外乱ありを検知する)。
外乱として「浮遊物等の映り込み」を検知する場合(評価項目が「浮遊物等の映り込み」である場合)、外乱検知部31は、画像取得部30が取得した画像を画面全体にわたってグレースケール化し、その後、各画素を2値化して輪郭抽出を行い、輪郭で囲まれた各領域の面積を計算する。面積が一定の範囲に収まる領域の個数が一定値以上となる場合、外乱検知部31は、浮遊物等が映り込んだと判断する(外乱ありを検知する)。
外乱として「画像の全体的な明るさおよび暗さ」を検知する場合(評価項目が「全体的な明るさおよび暗さ」である場合)、画像取得部30が取得した画像の画面全体の明度が一定値以上であるとき、外乱検知部31は、画像全体が明るすぎると判断する(外乱ありを検知する)。逆に、画像取得部30が取得した画像の画面全体の明度が一定値未満であるとき、外乱検知部31は、画像全体が暗すぎると判断する(外乱ありを検知する)。
図7は、計数結果表示60と魚数変化表示70とを含む画面の他の例を示す。同図では、魚数変化表示70において、外乱検知部31が外乱を検知した時点にマーキング表示75を付した状態を示している。直射日光の映り込み等の外乱がある場合、画像に基づいて計数部34が魚の数を正しく計数できない可能性がある。時系列で表示される魚数変化表示70において、外乱検知部31が外乱を検知した時点にマーキング表示75を付すことにより、マーキング表示75に基づく補正操作に従って、外乱に起因する誤計数を補正することが可能となる。
また、図7では、魚数変化表示70において、上記のマーキング表示75に加えて、上記の検知方法で検知された外乱の内容を示す外乱内容表示65が付されている。外乱内容表示76の存在により、外乱に起因する誤計数を補正するにあたって、外乱の内容に応じた補正を行うことが可能となり(外乱の内容に応じて補正の度合いを異ならせることが可能となり)、外乱に応じた誤計数の補正を精度よく行うことが可能となる。
以上のように、本実施形態の魚計数システム3は、魚を含む流体を経時的に撮影した複数枚の画像を取得する画像取得部30と、複数枚の画像に基づき魚の数を計数する計数部34と、単位時間あたりに計数した魚の数に対応する表示71が時系列に沿って配置された魚数変化表示70を提供する魚数変化表示提供部38と、計数済の魚を示す計数済マーク61が付された画像62を含む計数結果表示60を提供する結果提供部36と、補正操作を受け付けて魚の数を補正する補正部37と、を備える。
本実施形態の魚計数方法は、魚を含む流体を経時的に撮影した複数枚の画像を取得することと、前記複数枚の画像に基づき魚の数を計数することと、単位時間あたりに計数した魚の数に対応する表示が時系列に沿って配置された魚数変化表示を提供することと、計数済の魚を示す計数済マークが付された画像を含む計数結果表示を提供することと、補正操作を受け付けて前記魚の数を補正することと、を含む。
誤計数が生じやすいのは、多数の魚が一斉に通過するときが多く、単位時間あたりに計数した魚が多いときである。この構成によれば、単位時間あたりに計数した魚の数に対応する表示71が時系列に沿って配置された魚数変化表示70を提供する。これにより、全ての時間の画像を目視しなくても、多数の魚が一斉に通過する誤計数が生じやすい時点を把握可能となる。そして、計数済の魚を示す計数済マーク61が付された画像を含む計数結果表示60を視認して確認し、補正操作を通じて補正可能となる。したがって、誤計数を容易に補正可能となる。
本実施形態のように、魚数変化表示70は、横又は縦に延びる第1軸Ax1が単位時間あたりに計数した魚の数に対応し、第1軸Ax1に直交する第2軸Ax2が時間経過に対応するグラフ表示71を有することが好ましい。
グラフ表示71を見れば、グラフ表示71の変化を見ることで誤計数が生じやすい時点を容易に把握可能となり、補正が容易となる。誤計数が生じやすい時点としては、例えばピーク、急激な立ち上がり等が挙げられる。
本実施形態のように、結果提供部36は、計数済の魚を示す計数済マーク61が付された画像62と共に、魚の数の補正を指示するための加算指示表示65および減算指示表示66を提供し、補正部37は、加算指示表示65又は減算指示表示66への操作に応じて魚の数を補正することが好ましい。
この構成によれば、計数済マーク61が付された画像62を目視し、計数済マーク61が付されていない計数漏れ又は計数済マーク61が誤って付された誤計数を認識したときに、加算指示表示65又は減算指示表示66を操作できるので、補正作業の効率を向上させることができる。
本実施形態の変形例1のように、補正部37は、画像62内における補正済の魚の位置指定を伴う補正操作を受け付けて、魚の数を補正し、結果提供部36は、補正操作で指定された補正済の魚を示す手動補正マークMが付与された画像62を提供する。
このようにすれば、手動補正マークMによって補正の根拠が画像62と共に表示されるので、適切な魚数管理が可能となる。
本実施形態のように、魚数変化表示70は、魚の数が補正された時点を示す補正時点表示74を有することが好ましい。
この構成によれば、単位時間あたりに計数した魚の数に対応する表示71と共に、補正時点表示74が表示されるので、誤計数が生じやすい時点に対する補正が既になされているかを容易に把握でき、利便性を向上させることが可能となる。それでいて、複数人で誤計数の補正を実施する場合に、先に補正を行った人が補正した部分を容易に把握でき、複数人による効率的なチェック及び補正作業が可能となる。
本実施形態のように、魚計数システム3が記憶部39を備え、記憶部39は、計数部34が計数した魚の数を表す自動計数データD3と、自動計数データD3とは異なるデータであって補正部37が補正した魚の数を表す手動補正データD5と、を記憶し、補正部37は、自動計数データD3を変更せずに、手動補正データD5を変更することが好ましい。
この構成であれば、補正によって自動計数データD3が損なわれないので、誤って補正した場合であっても容易に復帰可能となる。
本実施形態の変形例2のように、魚計数システム3が、画像取得部30が取得した画像に基づいて外乱を検知する外乱検知部31をさらに備え、魚数変化表示70は、外乱検知部31が外乱を検知した時点を示すマーキング表示75を有することが好ましい。この場合、マーキング表示75に基づく補正操作に従って、外乱に起因する誤計数を補正することが可能となる。
また、魚数変化表示70は、外乱の検知内容を示す外乱内容表示76を有することが好ましい。この場合、外乱内容表示76に基づく補正操作に従って、外乱の内容に応じた補正を行うことができる。これにより、外乱に起因する誤計数の補正を精度よく行うことが可能となる。
本実施形態に係るプログラムは、上記方法を1又は複数のプロセッサに実行させるプログラムである。また、本実施形態に係るコンピュータに読み取り可能な一時記録媒体は、上記プログラムを記憶している。
図1に示す各部30~38は、所定プログラムを1又はプロセッサで実行することで実現しているが、各部を専用メモリや専用回路で構成してもよい。
上記実施形態のシステム3は、コンピュータのプロセッサによって各部30~38が実現されているが、各部30~38を分散させて、複数のコンピュータやクラウドで実装してもよい。すなわち、上記方法を1又は複数のプロセッサで実行してもよい。
以上、本開示の実施形態について図面に基づいて説明したが、具体的な構成は、これらの実施形態に限定されるものでないと考えられるべきである。本開示の範囲は、上記した実施形態の説明だけではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
本発明は、魚計数システムに利用可能である。
1 魚
3 魚計数システム
30 画像取得部
34 計数部
36 結果提供部
37 補正部
38 魚数変化表示提供部
39 記憶部
61 計数済マーク
65 加算指示表示
66 減算指示表示
70 魚数変化表示
71 グラフ表示
74 補正時点表示
Ax1 第1軸
Ax2 第2軸
D3 自動計数データ
D5 手動補正データ
3 魚計数システム
30 画像取得部
34 計数部
36 結果提供部
37 補正部
38 魚数変化表示提供部
39 記憶部
61 計数済マーク
65 加算指示表示
66 減算指示表示
70 魚数変化表示
71 グラフ表示
74 補正時点表示
Ax1 第1軸
Ax2 第2軸
D3 自動計数データ
D5 手動補正データ
Claims (10)
- 魚を含む流体を経時的に撮影した複数枚の画像を取得する画像取得部と、
前記複数枚の画像に基づき魚の数を計数する計数部と、
単位時間あたりに計数した魚の数に対応する表示が時系列に沿って配置された魚数変化表示を提供する魚数変化表示提供部と、
計数済の魚を示す計数済マークが付された画像を含む計数結果表示を提供する結果提供部と、
補正操作を受け付けて前記魚の数を補正する補正部と、を備える、魚計数システム。 - 前記魚数変化表示は、横又は縦に延びる第1軸が前記単位時間あたりに計数した魚の数に対応し、第1軸に直交する第2軸が時間経過に対応するグラフ表示を有する、請求項1に記載の魚計数システム。
- 前記結果提供部は、計測済の魚を示す計数済マークが付された画像と共に、魚の数の補正を指示するための加算指示表示および減算指示表示を提供し、
前記補正部は、前記加算指示表示又は前記減算指示表示への操作に応じて魚の数を補正する、請求項1又は2に記載の魚計数システム。 - 前記補正部は、前記画像内における補正対象の魚の位置指定を伴う補正操作を受け付けて、前記魚の数を補正し、
前記結果提供部は、前記補正操作で指定された前記補正対象の魚を示す手動補正マークが付与された画像を提供する、請求項1~3のいずれかに記載の魚計数システム。 - 前記魚数変化表示は、前記魚の数が補正された時点を示す補正時点表示を有する、請求項1~4のいずれかに記載の魚計数システム。
- 記憶部を備え、
前記記憶部は、前記計数部が計数した魚の数を表す自動計数データと、前記自動計数データとは異なるデータであって前記補正部が補正した魚の数を表す手動補正データと、を記憶し、
前記補正部は、前記自動計数データを変更せずに、前記手動補正データを変更する、請求項1~5のいずれかに記載の魚計数システム。 - 前記画像取得部が取得した前記画像に基づいて外乱を検知する外乱検知部をさらに備え、
前記魚数変化表示は、前記外乱検知部が前記外乱を検知した時点を示すマーキング表示を有する、請求項1~6のいずれかに記載の魚計数システム。 - 前記魚数変化表示は、前記外乱の検知内容を示す外乱内容表示を有する、請求項7に記載の魚計数システム。
- 魚を含む流体を経時的に撮影した複数枚の画像を取得することと、
前記複数枚の画像に基づき魚の数を計数することと、
単位時間あたりに計数した魚の数に対応する表示が時系列に沿って配置された魚数変化表示を提供することと、
計数済の魚を示す計数済マークが付された画像を含む計数結果表示を提供することと、
補正操作を受け付けて前記魚の数を補正することと、を含む、魚計数方法。 - 請求項9に記載の魚計数方法を1又は複数のプロセッサに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023044280A JP2023068069A (ja) | 2019-09-27 | 2023-03-20 | 魚計数システム、魚計数方法及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177649 | 2019-09-27 | ||
JP2019177649 | 2019-09-27 | ||
PCT/JP2020/034936 WO2021060077A1 (ja) | 2019-09-27 | 2020-09-15 | 魚計数システム、魚計数方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023044280A Division JP2023068069A (ja) | 2019-09-27 | 2023-03-20 | 魚計数システム、魚計数方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021060077A1 JPWO2021060077A1 (ja) | 2021-04-01 |
JP7250155B2 true JP7250155B2 (ja) | 2023-03-31 |
Family
ID=75166985
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021548836A Active JP7250155B2 (ja) | 2019-09-27 | 2020-09-15 | 魚計数システム、魚計数方法及びプログラム |
JP2023044280A Pending JP2023068069A (ja) | 2019-09-27 | 2023-03-20 | 魚計数システム、魚計数方法及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023044280A Pending JP2023068069A (ja) | 2019-09-27 | 2023-03-20 | 魚計数システム、魚計数方法及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220386571A1 (ja) |
EP (1) | EP4036801A4 (ja) |
JP (2) | JP7250155B2 (ja) |
CN (1) | CN114402362A (ja) |
AU (1) | AU2020351974B2 (ja) |
WO (1) | WO2021060077A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7136303B1 (ja) | 2021-09-30 | 2022-09-13 | 日本電気株式会社 | 計数装置、計数方法およびコンピュータプログラム |
CN115624008B (zh) * | 2022-07-08 | 2023-09-05 | 珠海科艺普检测科技有限公司 | 一种基于生物信息技术的大口黑鲈鱼的鱼苗智能检测方法 |
CN115187636B (zh) * | 2022-07-26 | 2023-09-19 | 金华市水产技术推广站(金华市水生动物疫病防控中心) | 一种基于多窗口的鱼苗识别计数方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010181920A (ja) | 2009-02-03 | 2010-08-19 | Optex Co Ltd | エリア管理システム |
US20110114029A1 (en) | 2009-11-17 | 2011-05-19 | Chu Chien-Hung | Aquatic-animal counting system, aquatic-animal counting method, and recording medium |
WO2017164239A1 (ja) | 2016-03-25 | 2017-09-28 | Necソリューションイノベータ株式会社 | 個体計数装置、個体計数方法、およびコンピュータ読み取り可能な記録媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2589046B2 (ja) * | 1993-11-01 | 1997-03-12 | 財団法人ダム水源地環境整備センター | 魚数計測方法と装置および移動体計数方法 |
JP2005202674A (ja) * | 2004-01-15 | 2005-07-28 | Chugoku Electric Power Co Inc:The | 魚道を通る魚の計数方法、魚道を通る魚の数を計数するシステム、情報処理装置、及びプログラム |
US11446660B2 (en) * | 2012-06-18 | 2022-09-20 | Scanlogx, Inc | Organism evaluation system and method of use |
US10222688B2 (en) * | 2014-09-22 | 2019-03-05 | Woods Hole Oceanographic Institution | Continuous particle imaging and classification system |
JP6702535B2 (ja) * | 2015-03-09 | 2020-06-03 | Necソリューションイノベータ株式会社 | 同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム |
GB201710372D0 (en) * | 2017-06-28 | 2017-08-09 | Observe Tech Ltd | System and method of feeding aquatic animals |
NO347348B1 (no) * | 2019-06-19 | 2023-09-25 | Subc3D As | System og framgangsmåte for avbildning og telling av eksterne strukturer på en fisk |
US20220254182A1 (en) * | 2019-08-25 | 2022-08-11 | Diptera.Ai Ltd. | Optical technique for analyzing insects, shrimp and fish |
-
2020
- 2020-09-15 AU AU2020351974A patent/AU2020351974B2/en active Active
- 2020-09-15 JP JP2021548836A patent/JP7250155B2/ja active Active
- 2020-09-15 WO PCT/JP2020/034936 patent/WO2021060077A1/ja active Application Filing
- 2020-09-15 CN CN202080058239.8A patent/CN114402362A/zh active Pending
- 2020-09-15 EP EP20867935.7A patent/EP4036801A4/en active Pending
- 2020-09-15 US US17/764,031 patent/US20220386571A1/en active Pending
-
2023
- 2023-03-20 JP JP2023044280A patent/JP2023068069A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010181920A (ja) | 2009-02-03 | 2010-08-19 | Optex Co Ltd | エリア管理システム |
US20110114029A1 (en) | 2009-11-17 | 2011-05-19 | Chu Chien-Hung | Aquatic-animal counting system, aquatic-animal counting method, and recording medium |
WO2017164239A1 (ja) | 2016-03-25 | 2017-09-28 | Necソリューションイノベータ株式会社 | 個体計数装置、個体計数方法、およびコンピュータ読み取り可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2021060077A1 (ja) | 2021-04-01 |
CN114402362A (zh) | 2022-04-26 |
EP4036801A4 (en) | 2023-10-18 |
JP2023068069A (ja) | 2023-05-16 |
AU2020351974A1 (en) | 2022-04-07 |
AU2020351974B2 (en) | 2024-04-04 |
EP4036801A1 (en) | 2022-08-03 |
JPWO2021060077A1 (ja) | 2021-04-01 |
US20220386571A1 (en) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7250155B2 (ja) | 魚計数システム、魚計数方法及びプログラム | |
JP6949988B2 (ja) | 領域特定方法、装置、記憶媒体及びプロセッサ | |
JP6273685B2 (ja) | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 | |
US9462160B2 (en) | Color correction device, method, and program | |
JP4842197B2 (ja) | 多重分割画像を用いた異常動作検出装置、異常動作検出方法及び異常動作検出用プログラム | |
US20180121739A1 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
US20180263223A1 (en) | Same-fish identification device, fish counting device, portable terminal for counting fish, same-fish identification method, fish counting method, fish count prediction device, fish count prediction method, same-fish identification system, fish counting system, and fish count prediction system | |
CN110245561B (zh) | 一种人脸识别方法及装置 | |
US20120288198A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
US9245247B2 (en) | Queue analysis | |
US10347000B2 (en) | Entity visualization method | |
CN109791615A (zh) | 用于检测并跟踪目标对象的方法、目标对象跟踪设备和计算机程序产品 | |
CN110675425B (zh) | 一种视频边框识别方法、装置、设备及介质 | |
US20190096066A1 (en) | System and Method for Segmenting Out Multiple Body Parts | |
CN110199316A (zh) | 相机和相机的图像处理方法 | |
CN111263955A (zh) | 一种目标对象的移动轨迹确定方法和装置 | |
JP4697923B2 (ja) | 水中または水面における移動体の計数システムおよび計数方法 | |
CN116453061B (zh) | 一种基于图像识别的远程卖猪监管方法、装置以及设备 | |
JP6325643B2 (ja) | モニタリングシステムにおける信頼性を高めるための方法 | |
US20230051823A1 (en) | Systems, methods, and computer program products for image analysis | |
US11587325B2 (en) | System, method and storage medium for detecting people entering and leaving a field | |
WO2021060078A1 (ja) | 魚計数システム、魚計数方法及びプログラム | |
CN104660866B (zh) | 运动检测***和方法 | |
JP2022099959A (ja) | 流量推定システム、情報処理装置およびプログラム | |
US20190096045A1 (en) | System and Method for Realizing Increased Granularity in Images of a Dataset |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230320 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7250155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |