JP2024013658A - 魚種判別システム、サーバ、魚種判別方法およびプログラム - Google Patents

Abstract

【課題】機械学習モデルを用いた魚種判別結果の精度を高めることが可能な魚種判別システム、サーバ、魚種判別方法およびプログラムを提供する。
【解決手段】魚種判別システム１は、水中のエコーデータを取得するエコーデータ取得部１１０と、記憶部２０２と、制御部２０１と、を備える。記憶部２０２は、エコーデータに基づき魚種ごとに予測確率を出力する機械学習モデルと、ユーザにより設定された魚群に関する魚種ごとのノウハウ情報と、魚種ごとの予測確率をノウハウ情報に基づき修正するノウハウモデルと、を記憶する。制御部２０１は、機械学習モデルにより取得した魚種ごとの予測確率をノウハウモデルで修正した修正結果に基づいて、魚群の魚種を判別する。
【選択図】図２

Description

本発明は、機械学習モデル（機械学習アルゴリズム）を用いて魚種判別を行う魚種判別システム、サーバおよび魚種判別方法、並びに、機械学習モデルを用いて魚種判別を行う機能をコンピュータに実行させるプログラムに関する。

従来、水中の魚群を探知する魚群探知装置が知られている。この種の魚群探知装置では、水中に超音波が送波され、その反射波が受波される。受波された反射波の強度に応じたエコーデータが生成され、生成されたエコーデータに基づいてエコー画像が表示される。ユーザは、エコー画像から魚群を確認でき、魚群の捕獲を円滑に進めることができる。

この場合、エコー画像上の魚群について、さらに魚種が判別できると好ましい。これにより、ユーザは、自身が望む魚種の魚を効率よく捕獲できる。

魚種の判別には、たとえば、機械学習モデルを用いることができる。この場合、魚群探知機から出力されるエコーデータを入力データとし、エコーデータ上の魚群の魚種を教師データとして、機械学習モデルに対する学習が行われ、学習済みモデルが生成される。エコーデータ上の魚群の魚種（教師データ）は、たとえば、実際の漁獲に基づきユーザにより入力される。以下の特許文献１には、この種の魚種推定システムが記載されている。

特開２０１９－２００１７５号公報

上述の方法では、ユーザごとに固有の機械学習モデルが生成され得る。しかし、上述の方法では、実際の漁獲に基づき教師データがユーザにより入力されるため、教師データのデータ数に限りがある。このため、機械学習モデルによる魚種の判別結果を高精度化することが困難である。

この問題の解決方法として、たとえば、専門家が機械学習のために生成した標準データを集約し、集約した標準データを教師データとして機械学習モデルの学習に用いる方法が考えられる。

しかし、各魚種の魚の遊泳深度、遊泳速度、群れ方等、魚の水中における特性は、地域に応じて異なる場合がある。また、水温、塩分濃度、潮流の速度等、各魚種の魚に適する海況も、地域に応じて異なる場合があり、さらには、各魚種の魚を捕獲できる捕獲時期や捕獲場所も、地域に応じて異なる場合がある。このため、上記のように標準データに基づく機械学習モデルにより魚群の魚種が判別されると、各地域において、高精度の判別結果が得られないことが起こり得る。

かかる課題に鑑み、本発明は、機械学習モデルを用いた魚種判別結果の精度を高めることが可能な魚種判別システム、サーバ、魚種判別方法およびプログラムを提供することを目的とする。

本発明の第１の態様は、魚種判別システムに関する。この態様に係る魚種判別システムは、水中のエコーデータを取得するエコーデータ取得部と、記憶部と、制御部と、を備える。前記記憶部は、前記エコーデータに基づき魚種ごとに予測確率を出力する機械学習モデルと、ユーザにより設定された魚群に関する前記魚種ごとのノウハウ情報と、前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルと、を記憶する。前記制御部は、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を前記ノウハウモデルで修正した修正結果に基づいて、前記魚群の魚種を判別する。

本態様に係る魚種判別システムによれば、ユーザからのノウハウ情報を用いたノウハウモデルに基づき、機械学習モデルによる各魚種の予測確率が修正されるため、修正後の各魚種の予測確率は、ユーザが属する地域や漁獲海域に、より適合しやすくなる。よって、魚種判別結果の精度を高めることができる。

本態様に係る魚種判別システムにおいて、前記ノウハウ情報は、前記魚種の魚の水中における特性に関する情報を含み得る。

各魚種の魚の水中における特性、たとえば、遊泳深度、遊泳速度および群れ方等は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚の水中における特性を含むことで、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。

本態様に係る魚種判別システムにおいて、前記ノウハウ情報は、前記魚種の魚に適する海況に関する情報を含み得る。

各魚種の魚に適する海況、たとえば、水温、塩分濃度、潮流の速度等は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚に適する海況を含むことで、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。

本態様に係る魚種判別システムにおいて、前記ノウハウ情報は、前記魚種の魚の捕獲時期および捕獲場所の少なくとも一方に関する情報を含み得る。

各魚種の魚を捕獲できる捕獲時期および捕獲場所は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚の捕獲時期および捕獲場所の少なくとも一方を含むことで、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。

本態様に係る魚種判別システムにおいて、前記制御部は、前記判別結果に対するユーザの修正内容を示すフィードバック情報に基づいて、前記ノウハウモデルにおける前記予測確率の修正度合いを変更するよう構成され得る。

この構成によれば、判別結果に対するユーザの修正内容により、ノウハウモデルにおける予測確率の修正度合いが随時変更されるため、たとえば、ユーザが誤って不適切なノウハウ情報を設定したような場合も、修正後の予測確率を、実際の魚種に応じた予測確率に近づけることができる。

本態様に係る魚種判別システムにおいて、前記制御部は、前記機械学習の学習進度に基づいて、前記ノウハウモデルにおける前記予測確率の修正度合いを変更するよう構成され得る。

この構成によれば、たとえば、機械学習モデルの学習進度が低く各魚種の予測確率の精度が低い場合は、ノウハウモデルにおける予測確率の修正度合いが高められ、その後、機械学習モデルの学習進度が高まり各魚種の予測確率の精度が高まるに応じて、ノウハウモデルにおける予測確率の修正度合いが低減される。このように、機械学習モデルとノウハウモデルとが相補的に作用することにより、修正後の予測確率の精度を効率的に高めることができ、魚種判別結果の精度を高めることができる。

本態様に係る魚種判別システムは、水中の魚群を探知する水中探知装置と、前記水中探知装置と通信可能なサーバと、を備え得る。ここで、前記エコーデータ取得部は前記水中探知装置に配置され、前記記憶部および前記制御部は、前記サーバに配置され得る。

この構成によれば、主として、サーバにおいて、魚種判別に必要な機械学習モデルおよびノウハウモデルの構築と、これらを用いた魚種判別の処理が実行される。よって、船等に設置される水中探知装置における負担を軽減しつつ、効率的に、魚種判別処理を実行できる。

本発明の第２の態様は、水中の魚群を探知する水中探知装置と通信可能なサーバに関する。この態様に係るサーバは、記憶部と、制御部と、を備える。前記記憶部は、前記水中探知装置から受信するエコーデータに基づき魚種ごとに予測確率を出力する機械学習モデルと、ユーザにより設定された魚群に関する前記魚種ごとのノウハウ情報と、前記機械学習モデルによる前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルと、を記憶する。前記制御部は、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を前記ノウハウモデルで修正した修正結果に基づいて、前記魚群の魚種を判別する。

本発明の第３の態様は、魚種判別方法に関する。この態様に係る魚種判別方法は、水中のエコーデータを取得し、前記エコーデータに基づき魚種ごとに予測確率を機械学習モデルにより算出し、魚群に関するユーザからのノウハウ情報を前記魚種ごとに記憶し、前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルにより、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を修正し、前記ノウハウモデルにより修正した前記魚種ごとの前記予測確率に基づいて前記魚群の魚種を判別する。

本発明の第４の態様は、コンピュータに所定の機能を実行させるプログラムに関する。本態様に係るプログラムは、水中から取得したエコーデータに基づき魚種ごとの予測確率を機械学習モデルにより算出する機能と、魚群に関するユーザからのノウハウ情報を前記魚種ごとに記憶する機能と、前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルにより、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を修正する機能と、ノウハウモデルにより修正した前記魚種ごとの前記予測確率に基づいて前記魚群の魚種を判別する機能とを、含む。

上記第２ないし第３の態様によれば、上記第１の態様と同様の効果が奏される。

以上のとおり、本発明によれば、本発明は、機械学習モデルを用いた魚種判別結果の精度を高めることが可能な魚種判別システム、サーバ、魚種判別方法およびプログラムを提供することができる。

本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。

図１は、実施形態に係る、魚種判別システムの構成を示す図である。 図２は、実施形態に係る、魚種判別システムの構成を示すブロック図である。 図３は、実施形態に係る、サーバの記憶部における各種情報の管理状態を示す図である。 図４（ａ）～図４（ｃ）は、それぞれ、実施形態に係る、個別データの構成を示す図である。 図５は、実施形態に係る、ニューラルネットワークによる魚種判別処理を模式的に示す図である。 図６は、実施形態に係る、ノウハウ情報の入力画面を示す図である。 図７は、実施形態に係る、機械学習モデルによる各魚種の予測確率をノウハウモデルで修正する処理の一例を説明する図である。 図８は、実施形態に係る、魚種判別処理を示すフローチャートである。 図９は、実施形態に係る、魚種判別結果を含むエコー画像の表示例を模式的に示す図である。 図１０（ａ）は、実施形態に係る、水中探知装置の制御部により実行されるフィードバック情報の送信処理を示すフローチャートである。図１０（ｂ）は、実施形態に係る、サーバの制御部により実行されるフィードバック情報の受信処理を示すフローチャートである。 図１１は、実施形態に係る、ユーザから魚種の修正を受け付けるための画面を模式的に示す図である。 図１２（ａ）は、実施形態に係る、サーバの制御部により実行されるノウハウモデルの修正処理を示すフローチャートである。図１２（ｂ）は、実施形態に係る、図１２（ａ）のステップＳ３１２における処理の一例を示すフローチャートである。 図１３（ａ）および図１３（ｂ）は、実施形態に係る、ノウハウモデルの修正例を示す図である。 図１４（ａ）は、変更例１に係る、機械学習の学習進度に基づいてノウハウモデルにおける予測確率の修正度合いを変更する処理を示すフローチャートである。図１４（ｂ）は、変更例１に係る、図１４（ａ）の処理に用いるテーブルの構成を示す図である。 図１５は、変更例２に係る、ノウハウ情報の修正例を示す図である。

図１は、魚種判別システム１の構成を示す図である。

魚種判別システム１は、水中探知装置１０と、サーバ２０とを備える。水中探知装置１０は、船２に設置される魚群探知機である。水中探知装置１０は、外部通信網３０（たとえば、インターネット）および基地局４０を介して、サーバ２０と通信可能である。水中探知装置１０およびサーバ２０は、それぞれ、相互に通信を行うためのアドレス情報を保持している。それぞれのアドレス情報は、初期設定時に、水中探知装置１０およびサーバ２０に設定される。

水中探知装置１０は、送受波器１１と、制御ユニット１２とを備える。送受波器１１は、船２の船底に設置され、制御ユニット１２は、船の操舵室等に設置される。送受波器１１と制御ユニット１２は、信号ケーブル（図示せず）で接続されている。送受波器１１は、送受波用の超音波振動子を備える。送受波器１１は、制御ユニット１２からの制御に応じて、超音波振動子により、海底４に向かって超音波３（送信波）を送波し、その反射波を受波する。送受波器１１は、受波した反射波に基づく受信信号を制御ユニット１２に送信する。

制御ユニット１２は、受信信号を処理して、各深度のエコー強度を示すエコーデータを生成する。制御ユニット１２は、エコーデータに基づく各深度のエコー強度を時系列に並べて、１画面分のエコー画面を生成する。制御ユニット１２は、生成したエコー画面を表示部に表示させる。制御ユニット１２は、超音波の送受波ごとにエコー画面を更新する。ユーザは、エコー画面を参照することで、魚群５の存在および位置を把握できる。

さらに、制御ユニット１２は、生成したエコーデータを、随時、サーバ２０に送信する。サーバ２０は、受信したエコーデータを記憶するとともに、制御ユニット１２と同様のエコー画像を生成する。サーバ２０は、機械学習モデルにより、エコー画像に含まれる魚群に対し、魚種ごとに予測確率（その魚種である確率）を算出する。さらに、サーバ２０は、算出した魚種ごとの予測確率を、ユーザにより設定されたノウハウ情報に基づくノウハウモデルにより修正する。

ここで、ノウハウ情報は、魚群に関する魚種ごとの情報であって、各魚種の魚の水中における特性（遊泳深度、遊泳速度、群れ方、等）、各魚種の魚に適する海況に関する情報（水温、塩分濃度、潮流の速度、等）、または、各魚種の魚の捕獲時期および捕獲場所を含み得る。

サーバ２０は、機械学習モデルにより算出した魚種ごとの予測確率を、ユーザにより設定されたノウハウ情報に基づくノウハウモデルにより修正して、修正後の予測確率を魚種ごとに算出し、修正後の各魚種の予測確率に基づき、当該魚群に対する魚種の判別結果を取得する。サーバ２０は、こうして取得した当該魚種の判別結果を、判別対象の魚群の範囲（深度、時間）とともに、エコーデータの受信先の水中探知装置１０に送信する。

水中探知装置１０は、受信した判別結果および魚群の範囲（深度、時間）に基づき、エコー画像上の対応する範囲に魚種の判別結果を重ねて表示する。これにより、ユーザは、エコー画像上の各魚群の魚種を確認でき、所望の魚の漁獲を円滑に進めることができる。

ユーザは、サーバ２０から提供された魚種の判別結果と、実際に漁獲した魚の魚種とが相違する場合、魚種を修正するためのフィードバック情報をサーバ２０に送信する。たとえば、ユーザは、１日の漁獲を終了した後、水中探知装置１０の入力部を介して、その日の所定の時間帯のエコーデータをサーバ２０から取得する操作を行う。これにより、サーバ２０は、指定された日および時間帯のエコーデータを魚種の判別結果（判別対象の魚群の範囲を含む）とともに水中探知装置１０に送信する。水中探知装置１０は、受信したエコーデータおよび判別結果に基づき、判別結果を含むエコー画像を表示部に表示させる。

ユーザは、入力部を介して、エコー画像上に表示された魚種の判別結果を自身が捕獲した魚の魚種に修正する操作を行う。これにより、水中探知装置１０は、判別結果に対するユーザの修正と、当該判別結果に対応する魚群の範囲（深度、時間）とを含むフィードバック情報を、サーバ２０に送信する。サーバ２０は、受信したフィードバック情報に基づいて、上述のノウハウモデルにおける予測確率の修正度合いを変更する。これにより、ノウハウモデルがユーザの実際の漁獲結果を反映するように適正化される。

なお、図１には、水中探知装置１０が１つだけ図示されているが、実際は、多数の水中探知装置１０が外部通信網３０および最寄りの基地局を介して、サーバ２０と通信可能である。また、サーバ２０と通信を行う水中探知装置１０は、図１に示すように船２に設置されるものの他、定置網に設置される水中探知装置等、漁法が異なる数種の水中探知装置が含まれる。

図２は、魚種判別システム１の構成を示すブロック図である。

水中探知装置１０は、制御部１０１と、表示部１０２と、入力部１０３と、送受波部１０４と、信号処理部１０５と、通信部１０６と、位置検出部１０７とを備える。送受波部１０４および信号処理部１０５によって、水中のエコーデータを取得するエコーデータ取得部１１０が構成される。

制御部１０１は、マイクロコンピュータおよびメモリ等により構成される。制御部１０１は、メモリに記憶されたプログラムに従って、水中探知装置１０の各部を制御する。このプログラムには、後述の魚種判別結果の受信および表示に関する機能や、フィードバック情報およびノウハウ情報の受付および送信に関する機能が含まれる。

表示部１０２は、モニタを備え、制御部１０１からの制御により、所定の画像を表示させる。入力部１０３は、表示部１０２に表示された画像上でカーソルを移動させるトラックボールや、操作キー等を備え、ユーザからの操作に応じた信号を制御部１０１に出力する。表示部１０２および入力部１０３が、液晶タッチパネル等により一体的に構成されてもよい。

送受波部１０４は、図１に示した送受波器１１と、送受波器１１に送信信号を供給するための送信回路と、送受波器１１から出力される受信信号を処理して信号処理部１０５に出力する受信回路とを備える。送信回路および受信回路は、図１の制御ユニット１２に含まれる。

送受波部１０４は、制御部１０１からの制御に従って送信波（超音波）を送波する。ここでは、１シーケンスにおいて、周波数が異なる２種類の送信波が送波される。送受波部１０４は、送波した各周波数の送信波の反射波を受波して受信信号を出力する。受信回路は、各送信波の周波数の受信信号を抽出して信号処理部１０５に出力する。

なお、このように２種類の周波数で送受波が行われるのは、後述の魚種判別をより高精度に行うためである。たとえば、鰾の有無によって、各周波数のエコー強度に差が生じる。このため、魚群からのエコーの強度の差を参照することによって、当該魚群の魚種を精度良く判別できる。

信号処理部１０５は、送受波部１０４から入力される各周波数の受信信号から、深度に応じた反射波の強度を示すエコーデータを生成し、生成した２種類のエコーデータを制御部１０１に出力する。各周波数の送信波を送波したタイミングからの経過時間が深度に対応する。ここで、反射波の強度は、深度が大きくなるほど減衰する。したがって、信号処理部１０５は、深度の差異に拘わらずエコーデータを定量的に扱えるようにするために、経過時間に応じて減衰する反射波の強度を補正し、強度を補正したエコーデータを制御部１０１に出力する。

制御部１０１は、受信したエコーデータに基づきエコー画像を生成し、表示部１０２に表示させる。制御部１０１は、何れか一方の周波数に対応するエコーデータを用いて、エコーデータを生成する。何れの周波数のエコーデータをエコー画像の生成に用いるかを、ユーザが適宜切り替え可能であってもよい。制御部１０１は、各深度におけるエコー強度を色スケールにより階調表現した深度方向の１列の画像を、エコーデータから生成する。制御部１０１は、現時点から所定時間前までの各列の画像を時間方向に統合して、１画面分のエコー画像を生成する。

なお、以下の説明において、エコーデータ（フィードバック情報に含まれるエコーデータを含む）と言うときは、特に明記しない限り、２種類の周波数のエコーデータを意味する。

通信部１０６は、基地局４０と無線通信可能な通信モジュールである。位置検出部１０７は、ＧＰＳを備え、水中探知装置１０の位置を検出する。位置検出部１０７は、検出した位置情報を制御部１０１に出力する。

図１を参照して説明したとおり、制御部１０１は、随時、通信部１０６を介して、エコーデータ、フィードバック情報およびノウハウ情報をサーバ２０に送信する。また、制御部１０１は、通信部１０６を介して、サーバ２０から魚種の判別結果を受信する。制御部１０１は、さらに、位置検出部１０７により検出された位置情報をサーバ２０に送信する。

図２に示すように、水中探知装置１０の他にも、多数の水中探知装置１０ａ、１０ｂ、…が外部通信網３０および最寄りの基地局４０ａ、４０ｂ、…を介して、サーバ２０と通信可能である。上記のように、サーバ２０と通信を行う水中探知装置１０は、図１に示すように船２に設置されるものの他、定置網に設置される水中探知装置等、漁法が異なる数種の水中探知装置が含まれる。他の水中探知装置の基本的な構成は、図２の水中探知装置１０と同様である。

但し、定置網に設置される水中探知装置は、ユーザが定置網内の魚の状態を遠隔で監視するために、定置網に設置される洋上ユニットと、外部通信網を介してこの洋上ユニットと通信可能な端末とにより構成され得る。洋上ユニットで取得されたエコーデータは、外部通信網を介して端末に送信される。これにより、端末にエコー画像が表示される。端末は、パーソナルコンピュータの他、携帯電話機やタブレット等、ユーザが所持する携帯端末であってもよい。

この場合、サーバ２０に対するエコーデータの送信は、端末が行ってよく、あるいは、洋上ユニットが端末へのエコーデータの送信に並行してサーバ２０にもエコーデータを送信してもよい。また、フィードバック情報およびノウハウ情報は、端末を介して入力されてよく、端末からサーバ２０に送信されてよい。魚種の判別結果は、洋上ユニットを経由せずに、サーバ２０から端末に直接送信されてよい。また、端末に対するエコーデータの送信は、サーバ２０から行われてもよい。すなわち、サーバ２０は、洋上ユニットからエコーデータを受信し、受信したエコーデータを端末に送信してよい。

サーバ２０は、制御部２０１と、記憶部２０２と、通信部２０３とを備える。制御部２０１は、ＣＰＵ等により構成される。記憶部２０２は、ＲＯＭ、ＲＡＭ、ハードディスク等により構成される。記憶部２０２には、魚種判別のためのプログラムが記憶されている。制御部２０１は、記憶部２０２に記憶されたプログラムにより、各部を制御する。通信部２０３は、制御部２０１からの制御により、外部通信網３０および基地局４０を介して、水中探知装置１０と通信を行う。

制御部２０１は、上記プログラムにより、各々の水中探知装置１０に適用されるノウハウモデルを生成する。また、制御部２０１は、各々の水中探知装置１０から受信したエコーデータ、フィードバック情報およびノウハウ情報を、各々の水中探知装置１０に対応付けて記憶部２０２に記憶させる。制御部２０１は、各々の水中探知装置１０から受信したノウハウ情報を用いて、当該水中探知装置１０に適用されるノウハウモデルを生成し、さらに、各々の水中探知装置１０から受信したフィードバック情報を用いて、当該水中探知装置１０に適用されるノウハウモデルを更新する。

なお、各々の水中探知装置１０からサーバ２０に送信されるエコーデータは、通信トラフィックやサーバ２０の容量負荷の軽減から、所定の粒度まで間引いて送信されてよい。この場合、サーバ２０は、補間処理により間引きを補正したエコーデータを用いて、魚種判別や機械学習を行う。あるいは、間引かれた状態のエコーデータを用いて魚種判別や機械学習が行われてもよい。但し、より精度良く魚種判別や機械学習を行うためには、補間処理により間引きを補正したエコーデータを魚種判別や機械学習に用いることが好ましい。

また、サーバ２０は、各々の水中探知装置１０から受信したエコーデータを定量的に扱うために、各々の水中探知装置１０から受信したエコーデータに対し、水中音響理論に基づき、水中探知装置１０および送受波器１１の特性（たとえば、感度、増幅率、等）を考慮した補正を行って、魚種判別や機械学習を行ってよい。これにより、機械学習モデルによる魚種判別および機械学習モデルに対する機械学習を、より精度良く行うことができる。

図３は、サーバ２０の記憶部２０２における各種情報の管理状態を示す図である。

記憶部２０２には、標準データ３０１と、機械学習モデル３０２と、海況データ３０３と、個別データ３１１、３２１と、ノウハウモデル３１２、３２２とが記憶されている。

標準データ３０１は、機械学習のための標準的な教師データである。標準データ３０１は、魚群の範囲（深度、時間）のエコーデータと、その魚群の魚種とを組み合わせたデータである。標準データ３０１は、専門家により逐次生成され、管理者により登録される。これにより、標準データのデータ数は、徐々に増加していく。

機械学習モデル３０２は、標準データ３０１を用いた機械学習により生成された機械学習モデルである。標準データ３０１の更新に応じて、機械学習モデル３０２に対する機械学習が実行され、機械学習モデル３０２が更新される。こうして、機械学習モデル３０２の学習進度が高まっていく。

本実施形態では、機械学習として、ニューラルネットワークを用いた機械学習が適用される。たとえば、ニューロンを多段に組み合わせたディープラーニングによるニューラルネットワークが適用される。但し、適用される機械学習はこれに限られるものではなく、サポートベクターマシーンや決定木等の他の機械学習が適用されてもよい。

海況データ３０３は、水温、塩分濃度および潮流の速度等の海況に関するデータである。海況データ３０３は、海上の浮標等に設置された検出器によって検出され、各検出器から無線通信によりサーバ２０に周期的に送信される。検出器は、ＧＰＳを備え、ＧＰＳで検出した位置情報を海況データとともにサーバ２０に送信する。サーバ２０は、浮標（検出器）の位置ごとに、海況データを記憶部２０２に記憶させる。水中探知装置１０が海況データを取得するための検出器を備える場合、水中探知装置１０からサーバ２０に海況データが位置情報とともに送信されてもよい。

個別データ３１１、３２１は、各ユーザの水中探知装置１０から取得したデータである。ノウハウモデル３１２、３２２は、上述のように、機械学習モデル３０２により算出された魚種ごとの予測確率を、ユーザごとのノウハウ情報に基づき修正するためのモデルである。

図３において、個別データ３１１およびノウハウモデル３１２はユーザＵ１に対するものであり、個別データ３２１およびノウハウモデル３２２はユーザＵ２に対するものである。ユーザＵ１、Ｕ２以外も同様に、ユーザごとに個別データ、ノウハウ情報およびノウハウモデルが管理されている。

図４（ａ）～（ｃ）は、個別データの構成を示す図である。

図４（ａ）～（ｃ）に示すとおり、各種の個別データが、ユーザＩＤに対応付けて管理される。ユーザＩＤは、ユーザ（水中探知装置１０）を識別するための情報である。たとえば、水中探知装置１０の製品コードがユーザＩＤとして用いられてよく、あるいは、ランダムに付与されたコードがユーザＩＤとして用いられてもよい。ユーザＩＤは、水中探知装置１０とサーバ２０との間で情報の送受信が行われる際に、随時、送受信される。

図４（ａ）は、エコーデータに関する個別データである。水中探知装置１０は、１シーケンスの送受波により得られたエコーデータをその取得日時とともに、サーバ２０に順次送信する。サーバ２０の記憶部２０２には、エコーデータの取得開始日時および取得終了日時と、その間に取得された一群のエコーデータおよびその取得日時とが、ユーザＩＤに対応付けて記憶される。

さらに、開始日時から終了日時までの一群のエコーデータから機械学習モデルにより得られた魚種判別結果が各群のエコーデータにさらに対応付けられる。複数の魚種判別結果が得られた場合は、複数の魚種判別結果が一群のエコーデータに対応付けられる。各々の魚種判別結果は、魚群の範囲（深度、時間）と判別結果（魚種）とからなっている。

図４（ｂ）は、フィードバック情報に関する個別データである。ここでは、当該ユーザＩＤに対応する水中探知装置１０から取得されたフィードバック情報が、時系列で記憶される。図４（ｃ）は、ノウハウ情報に関する個別データである。ここでは、当該ユーザＩＤに対応する水中探知装置１０から取得されたノウハウ情報が、時系列で記憶される。

図５は、ニューラルネットワークによる魚種判別処理を模式的に示す図である。

サーバ２０の制御部２０１は、処理対象の１画面分のエコーデータから魚群の範囲（深度、時間）を抽出する。魚群の範囲は、エコー画像上において、エコー強度が所定の閾値以上であり、且つ、エコー強度に繋がりがある範囲として抽出される。魚群の範囲の抽出方法については、出願人が先に出願した国際公開第２０１９／００３７５９号の記載が、参照により取り込まれ得る。

制御部２０１は、抽出した魚群の範囲のエコーデータを、図５の機械学習モデル（ニューラルネットワークによる機械学習アルゴリズム）３０２の入力３０２ａに適用する。

機械学習モデル３０２の出力３０２ｂには、イワシ、アジ、サバなどの魚種の項目が割り当てられている。機械学習モデル３０２の入力３０２ａに魚群の範囲のエコーデータが適用されると、機械学習モデル３０２の出力３０２ｂの各項目から、当該魚群の魚種が各項目の魚種である確率（予測確率）が出力される。図５の例では、サバの項目から８５％の予測確率が出力され、イワシの項目から７０％の予測確率が出力され、マグロの項目から１０％の予測確率が出力されている。

各項目の予測確率は、ノウハウモデル３１２によって修正される。上述のように、ノウハウモデル３１２は、当該ユーザのノウハウ情報に基づき各魚種（項目）の予測確率を修正するモデル（アルゴリズム）である。図５の例では、サバの項目の予測確率が８５％から２５％に修正され、イワシの項目の予測確率が７０％から９４％に修正され、マグロの項目の予測確率が１０％から１％に修正されている。

修正後の各項目の予測確率は、出力条件４０１と照合される。出力条件４０１には、たとえば、修正後の予測確率が所定の下限値以上で且つ一番順位（最高）である項目の魚種を判別結果４０２として出力する条件が適用される。下限値は、確度が低い魚種が判別結果として出力されることを防ぐために設定される。図５の例では、修正後の予測確率が９４％であるイワシが、魚種の判別結果４０２として出力される。

機械学習モデル３０２に対する機械学習は、一連の教師データを機械学習モデル３０２の入力３０２ａおよび出力３０２ｂに順番に適用することにより行われる。すなわち、機械学習モデル３０２の入力３０２ａに、１つの教師データに含まれる魚群のエコーデータが入力され、機械学習モデル３０２の出力３０２ｂには、この教師データに含まれる魚種に対応する項目に１００％が設定され、その他の項目には０％が設定されて、機械学習が行われる。

図３の機械学習モデル３０２は、標準データ３０１（魚群の範囲のエコーデータ、魚種）を、順次、機械学習モデル３０２の入力３０２ａおよび出力３０２ｂに設定して機械学習を行うことにより生成される。

また、機械学習モデル３０２の入力３０２ａには、魚群のエコーデータの他に、当該エコーデータが得られた位置や、その位置の海況データ等の、魚種判別に用い得る他の情報が入力されてもよい。この場合、標準データも、これらの他の情報をさらに含めばよい。

図６は、ノウハウ情報の入力画面５００の構成例を示す図である。

入力画面５００は、魚種設定項目５０１と、ノウハウ入力領域５０２と、信頼度入力領域５０３と、確定キー５０４とを含んでいる。入力画面５００は、図２の表示部１０２に表示され、入力部１０３を介してユーザからの入力を受け付ける。

魚種設定項目５０１は、ノウハウ情報の設定対象とされる魚種をユーザが設定するための項目である。魚種設定項目５０１が選択されると、魚種設定項目５０１の直下に、選択候補の魚種がプルダウンリストにより表示される。ユーザは、表示された魚種候補から、自身がノウハウ情報を入力しようとする魚種を選択する。これにより、魚種設定項目５０１に、選択された魚種が表示される。図６の例では、サバが選択された状態が示されている。

ノウハウ入力領域５０２は、ユーザが、自身のノウハウ情報を入力するための項目である。ノウハウ入力領域５０２は、ノウハウ情報の種類を示す標記５０２ａと、これらの種類のノウハウ情報をユーザが入力するための入力項目５０２ｂとを含んでいる。ここでは、ノウハウの種類として、遊泳深度、遊泳速度、群れ方、適正水温、漁獲時期および漁獲場所が、入力可能なノウハウ情報として例示されている。但し、ノウハウ情報の種類はこれらに限定されるものではない。

遊泳深度は、当該魚種の魚（ここでは、サバ）が遊泳する深度の範囲であり、遊泳速度は、該魚種の魚が遊泳する平均的な速度である。群れ方は、当該魚種の魚の群れ方（どのように魚群を形成するか）である。適正水温は、当該魚種の魚に適する水温であり、漁獲時期および漁獲場所は、当該魚種の魚が漁獲される時期および場所である。ユーザは、自身の漁場にて当該魚種の魚を漁獲する場合の各種類のノウハウ情報を、入力項目５０２ｂに適宜入力する。群れ方の入力項目５０２ｂが選択されると、この入力項目５０２ｂの直下に選択候補がプリダウンリストにより表示される。漁獲場所は、経度および緯度の範囲で設定される。

信頼度入力領域５０３は、各々のノウハウ情報の信頼度（自信度）を入力するための領域である。信頼度入力領域５０３には、ノウハウ入力領域５０２に含まれるノウハウ情報ごとに、そのノウハウ情報の信頼度が高いか普通程度であるかを選択するための項目が含まれている。

ユーザは、魚種設定項目５０１に魚種を設定した後、ノウハウ入力領域５０２に表示された各種類のノウハウ情報の項目うち、自身が設定しようとする項目に対して、入力項目５０２ｂに入力する。さらに、ユーザは、入力した各々のノウハウ情報に対する信頼度（自信度）を、信頼度入力領域５０３の高い／普通の何れか一方の選択項目を選択することにより入力する。

こうして、魚種設定項目５０１、ノウハウ入力領域５０２および信頼度入力領域５０３に対する入力が完了すると、ユーザは、確定キー５０４を操作する。これにより、水中探知装置１０の制御部１０１は、ノウハウ入力領域５０２および信頼度入力領域５０３にそれぞれ入力されたノウハウ情報および信頼度を、魚種設定項目５０１に設定された魚種とともに、サーバ２０に送信する。サーバ２０は、受信したこれらの情報を、図４（ｃ）に示したように、図３における当該ユーザの個別データとして記憶部２０２に記憶させる。

図７は、機械学習モデルによる各魚種の予測確率をノウハウモデルで修正する処理の一例を説明する図である。

この例では、図６の入力画面５００において、ユーザが信頼度を高いに設定したノウハウ情報に基づきノウハウモデルが生成される。当該ユーザは、サバおよびイワシの遊泳深度およびマグロの捕獲時期に対して高信頼度を設定しているため、これらのノウハウ情報を用いてノウハウモデルが生成される。具体的には、ノウハウモデルの生成に用いるノウハウ情報は、以下のとおりである。

・サバの遊泳深度 … ４０～１２０ｍ
・イワシの遊泳深度 … ０～３０ｍ（３０ｍより浅い）
・マグロの捕獲時期 … ３～７月

これらのノウハウ情報の信頼度は、ユーザによる初期設定時には１００％であったが、その後のフィードバック情報による調整により、以下のように変更されている。

・サバの遊泳深度 … ７０％
・イワシの遊泳深度 … ８０％
・マグロの捕獲時期 … ９０％

ノウハウモデルは、たとえば、以下の算出式により、機械学習モデルによる各魚種の予測確率を修正する。

＜判別対象の魚群がノウハウ情報の条件を満たす場合＞
修正後の予測確率＝１００％×｛１－（１－Ｒｐ）×（１－Ｒｎ）｝ …（１）

＜判別対象の魚群がノウハウ情報の条件を満たさない場合＞
修正後の予測確率＝予測確率×（１－Ｒｎ） …（２）

上記式（１）および式（２）において、Ｒｐは、対象魚種に対する予測確率を小数で表現した値であり、Ｒｎは、対象魚種に対するノウハウ情報の信頼度を小数で表現した値である。たとえば、図７の例において、対象魚種がサバの場合、Ｒｐは０．８５であり、Ｒｎは０．７である。また、対象魚種がイワシの場合、Ｒｐは０．７であり、Ｒｎは０．８である。

図７の例では、魚種判別対象の魚群の深度範囲は１０～２０ｍであった。これに対し、ノウハウ情報におけるサバの遊泳深度は４０～１２０ｍであるため、当該魚群の遊泳深度は、ノウハウ情報におけるサバの遊泳深度の条件を満たさない。このため、機械学習モデルによるサバの予測確率（８５％）は、上記式（２）によって修正される。これにより、修正後のサバの予測確率は、２５．５％と算出され、この値の小数点第１位を四捨五入して２６％となる。

他方、ノウハウ情報におけるイワシの遊泳深度は０～３０ｍであるため、魚種判別対象の魚群の遊泳深度は、ノウハウ情報におけるイワシの遊泳深度の条件を満たす。このため、機械学習モデルによるイワシの予測確率（７０％）は、上記式（１）によって修正される。これにより、修正後のイワシの予測確率は、９４％となる。

また、ノウハウ情報におけるマグロの捕獲時期は３～７月であるため、魚種判別対象の魚群の捕獲時期（１０月２日）は、ノウハウ情報におけるマグロの捕獲時期の条件を満たさない。このため、機械学習モデルによるマグロの予測確率（１０％）は、上記式（１）によって修正される。これにより、修正後のマグロの予測確率は、１％なる。

こうして、修正後の予測確率では、イワシの予測確率が第１位となる。このため、図５の判別結果４０２として、イワシが取得される。

なお、図７の例では、各魚種のノウハウ情報が１種類しかなったが、各魚種のノウハウ情報が複数種類あった場合は、たとえば、以下の式により、修正後の予測確率が算出される。

修正後の予測確率＝Σ（上記式１または式２による算出結果）／ノウハウ情報の種類数 …（３）

すなわち、対象魚種について、ノウハウ情報の種類ごとに上記式（１）または式（２）により修正後の予測確率が算出され、算出された全ての予測確率の平均値が、当該対象魚種に対する修正後の予測確率として取得される。

なお、ノウハウモデルにおける予測確率の修正方法は、上記式（１）～（３）に示した方法に限られるものではなく、修正結果にユーザのノウハウ情報が反映される限りにおいて、他の修正方法であってもよい。

また、上記の方法では、図６の入力画面５００において高信頼度に設定されたノウハウ情報のみがノウハウモデルの生成に用いられたが、入力画面５００において普通の信頼度に設定されたノウハウ情報がさらにノウハウモデルの生成に用いられてもよい。この場合、たとえば、設定時における普通の信頼度は５０％に設定され、その後のフィードバック情報により変更される。そして、高信頼度および普通の信頼度の全てのノウハウ情報から、たとえば、上記式（１）、（２）および式（３）により、魚種ごとに、修正後の予測確率が算出される。

また、図６の入力画面５００において、信頼度入力領域５０３は省略されてもよい。この場合、ノウハウ入力領域５０２に入力されたノウハウ情報は、たとえば、全てが信頼度１００％に設定され、その後のフィードバック情報により変更される。そして、ユーザが設定した全てのノウハウ情報から、たとえば、上記式（３）により、魚種ごとに、修正後の予測確率が算出される。

図８は、魚種判別処理を示すフローチャートである。

サーバ２０の制御部２０１は、水中探知装置１０からエコーデータの受信を開始すると（Ｓ１０１：ＹＥＳ）、受信したエコーデータを図３の個別データとして記憶部２０２に記憶させる（Ｓ１０２）。また、制御部２０１は、受信したエコーデータからエコー画像を順次構成し、エコー画像上の魚群の範囲（深度、時間）を特定する。そして、制御部２０１は、特定した魚群の範囲のエコーデータを機械学習モデルに適用して魚種ごとに予測確率を算出する（Ｓ１０３）。さらに、制御部２０１は、算出した予測確率を、上記のように、当該水中探知装置１０（ユーザＩＤ）のノウハウモデルにより修正して、修正後の予測確率を取得する（Ｓ１０４）。そして、制御部２０１は、修正後の予測確率を図５の出力条件４０１に適用して、当該魚群の魚種の判別結果を決定する（Ｓ１０５）。

制御部２０１は、取得した魚種の判別結果を、当該判別結果を取得した魚群の範囲（深度、時間）とともに、当該水中探知装置１０に送信し、さらに、これらの情報を記憶部２０２に記憶させる（Ｓ１０６）。

その後、制御部２０１は、当該水中探知装置１０からのエコーデータの受信が終了するまで（Ｓ１０７：ＮＯ）、ステップＳ１０２～Ｓ１０６の処理を繰り返し実行する。これにより、エコー画像から新たに魚群の範囲（深度、時間）が特定されるごとに、機械学習モデルおよび当該ユーザのノウハウモデルにより、当該魚群の魚種が判別される。新たに得られた魚群の判別結果およびその魚群の範囲（深度、時間）は、随時、当該水中探知装置１０に送信されるとともに、サーバ２０の記憶部２０２に記憶される。

こうして、当該水中探知装置１０からのエコーデータの受信が終了すると（Ｓ１０７：ＹＥＳ）、制御部２０１は、図８の処理を終了する。これにより、図４（ａ）の１行分の個別データが記憶部２０２に記憶される。上記のように、図４（ａ）のエコーデータの欄には、図８の処理において水中探知装置１０から受信した全てのエコーデータが保持される。また、図４（ａ）の魚種判別結果の欄には、図８の処理によって得られた全ての魚種の判別結果がその魚群の範囲（深度、時間）とともに保持される。

図９は、魚種判別結果を含むエコー画像Ｐ１の表示例を模式的に示す図である。便宜上、図９には、エコー強度が高い部分のみに深度方向の線が付されている。

水中探知装置１０の制御部２０１は、サーバ２０から判別結果および魚群の範囲（深度、時間）を受信すると、受信した魚群の範囲に対応する深度幅および時間幅に対応するエコー画像Ｐ１上の領域に、魚群の範囲を示す枠状のマーカーＭ０を表示する。さらに、制御部２０１は、受信した魚種の判定結果を示すラベルＬ０を、このマーカーＭ０の周囲にさらに表示する。図９の例では、サーバ２０から受信した判別結果および魚群の範囲（深度、時間）に基づき、魚群Ｆ１～Ｆ８に対してマーカーＭ０が表示され、さらに、これらのマーカーＭ０の周囲に、魚種の判別結果を示すラベルＬ０が表示されている。エコー画像Ｐ１の左上の角付近には、現在の日時が表示されている。

ここで、図９の例では、魚群Ｆ９については、図５の機械学習モデル３０２、ノウハウモデル３１２および出力条件４０１により魚種の判別結果が出力されなかったため、魚群Ｆ９には、マーカーおよびラベルの表示がなされていない。これは、たとえば、機械学習モデル３０２およびノウハウモデル３１２による魚群Ｆ９の修正後の予測確率が出力条件４０１を満たさなかった場合に起こり得る。たとえば、出力条件が所定の下限値以上かつ第１順位（最高）の予測確率の魚種を出力するとの条件である場合、機械学習モデル３０２およびノウハウモデル３１２による各魚種の修正後の予測確率のうち第１順位の修正後の予測確率がこの下限値未満であると、この魚群に対する判別結果は出力されない。このような場合、この魚群については判別結果がサーバ２０から水中探知装置１０に送信されないため、図９の魚群Ｆ９のように、魚種の判別結果が表示されないことになる。

図１０（ａ）は、水中探知装置１０の制御部１０１により実行されるフィードバック情報の送信処理を示すフローチャートである。図１０（ｂ）は、サーバ２０の制御部２０１により実行されるフィードバック情報の受信処理を示すフローチャートである。

ユーザは、たとえば、エコー画像Ｐ１に表示された所定の魚群の魚種判別結果と、自身が実際に捕獲したその魚群の魚種とが異なる場合や、エコー画像Ｐ１において魚種の判別結果が表示されていない魚群を実際に捕獲してその魚群の魚種を把握した場合に、これら魚群の魚種を修正するためのフィードバック情報をサーバ２０に送信するための操作（フィードバック操作）を、図２の入力部１０３を介して水中探知装置１０に行う。この場合、ユーザは、修正対象の魚群を含むエコー画像の日時の範囲を、入力部１０３を介して入力し、さらに、その範囲の魚種判別結果およびエコーデータ（以下、「履歴情報」という）をサーバ２０から取得するための操作を行う。

図１０（ａ）を参照して、水中探知装置１０の制御部１０１は、入力部１０３を介してユーザからフィードバック操作が入力されると（Ｓ２０１：ＹＥＳ）、ユーザにより入力された日時の範囲を含む履歴情報の送信要求をサーバ２０に送信し、サーバ２０から履歴情報を取得する（Ｓ２０２）。図１０（ｂ）を参照して、サーバ２０の制御部２０１は、図１０（ａ）のステップＳ２０２において送信された履歴情報の送信要求を受信すると（Ｓ３０１：ＹＥＳ）、当該送信要求の送信元の水中探知装置１０の個別データから、送信要求に含まれる日時の範囲の履歴情報（エコーデータおよび魚種判別結果）を抽出し、抽出した履歴情報を送信元の水中探知装置１０に送信する（Ｓ３０２）。

図１０（ａ）を参照して、水中探知装置１０の制御部１０１は、サーバ２０から履歴情報を受信すると（Ｓ２０２）、受信した履歴情報に基づくエコー画面を表示部１０２に表示させ、ユーザから魚種の修正を受け付ける（Ｓ２０３）。

図１１は、図１０（ａ）のステップＳ２０３において、ユーザから魚種の修正を受け付けるための画面を模式的に示す図である。

水中探知装置１０の制御部１０１は、履歴情報の送信要求の際にユーザが指定した時間範囲のうち先頭の時間帯のエコー画像および判別結果を表示部１０２に表示させる。ユーザは、入力部１０３を介してスクロールバーＢ０を操作して、エコー画像を時間方向に遷移させ、所望の時間帯のエコー画像および判別結果を含む画面を表示させる。これにより、図１１における時間帯の画面が表示される。

ユーザは、この画面において、自身が修正しようとする魚群のマーカーＭ０を、入力部１０３を介して指定する。図１１の画面では、サバの判別結果が付された魚群Ｆ５のマーカーＭ０が、ユーザにより指定されている。これにより、魚群Ｆ５のマーカーＭ０が強調表示され、このマーカーＭ０の周囲に、魚種の選択候補Ｃ０がスクロールバーとともに表示される。ユーザは、選択候補Ｃ０のスクロールバーを操作して所望の魚種を表示させ、その後、自身が変更しようとする魚種を選択する。図９の例では、魚群Ｆ５の魚種としてタイが選択されている。

また、ユーザは、この画面において、判別結果が付されていない魚群に対し魚種を入力する場合、入力部１０３を介して、当該魚群の範囲を指定する。図７に示すように、魚群Ｆ９には魚種の判別結果が得られていない。ユーザは、この魚群Ｆ９の魚種を入力する場合、入力部１０３を介して、魚群Ｆ９の範囲を指定する。これにより、図１１に示すように、指定された魚群Ｆ９の範囲に新たにマーカーＭ１が表示され、このマーカーＭ１の周囲に、魚種の選択候補Ｃ０がスクロールバーとともに表示される。ユーザは、選択候補Ｃ０のスクロールバーを操作して所望の魚種を表示させ、その後、自身が入力しようとする魚種を選択する。図９の例では、魚群Ｆ９の魚種としてマグロが選択されている。

こうして、魚種を変更または設定するための操作を行った後、ユーザは、入力部１０３を介して、これらの操作を確定するための操作を入力する。

図１０（ａ）を参照して、ユーザから確定操作が入力されると（Ｓ２０４：ＹＥＳ）、制御部１０１は、ステップＳ２０３においてユーザから指定された魚群の範囲と、当該魚群に対してユーザから入力された魚種とを含むフィードバック情報を、サーバ２０に送信する（Ｓ２０５）。これにより、制御部１０１は、図１０（ａ）の処理を終了する。

図１０（ｂ）を参照して、サーバ２０の制御部２０１は、水中探知装置１０の制御部１０１からフィードバック情報を受信すると（Ｓ３０３：ＹＥＳ）、受信したフィードバック情報を、当該水中探知装置１０の個別データとして記憶部２０２に記憶させる（Ｓ３０４）。これにより、図４（ｂ）の１行分のフィードバック情報が、記憶部２０２に記憶される。これにより、制御部２０１は、図１０（ｂ）の処理を終了する。

図１２（ａ）は、サーバ２０の制御部２０１により実行されるノウハウモデルの修正処理を示すフローチャートである。

制御部２０１は、水中探知装置１０からフィードバック情報を受信すると（Ｓ４０１：ＹＥＳ）、受信したノウハウ情報に基づいて、当該水中探知装置１０に対応するノウハウモデルを修正する（Ｓ４０２）。

図１２（ｂ）は、図１２（ａ）のステップＳ４０２における処理の一例を示すフローチャートである。

制御部２０１は、フィードバック情報に含まれる魚群に関する情報と、当該ユーザの各魚種のノウハウ情報の条件とを比較し、当該魚群に関する情報を当該条件に含むノウハウ情報を当該ユーザの個別データから抽出する（Ｓ４１１）。魚群に関する情報は、当該魚群の深度範囲、日および時間幅、位置（経度、緯度）、その位置の海況データを含む。また、比較対象とされるノウハウ情報は、ノウハウモデルの生成に用いられるノウハウ情報、たとえば、図６の例では、高信頼度が設定されたノウハウ情報である。

次に、制御部２０１は、抽出したそれぞれのノウハウ情報の魚種と、当該魚群に対してユーザが修正した修正後の魚種とを比較する（Ｓ４１２）。そして、制御部２０１は、抽出したそれぞれのノウハウ情報のうち、修正後の魚種と魚種が一致するノウハウ情報の信頼度を増加させ（Ｓ４１３）、修正後の魚種と魚種が一致しないノウハウ情報の信頼度を減少させる（Ｓ４１４）。

ステップＳ４１３、Ｓ４１４における信頼度の増加および減少は、たとえば、所定の値（たとえば５％）だけ信頼度を変化させることにより行われる。但し、信頼度を増加および減少させる方法はこれに限られるものではなく、たとえば、所定の割合だけ信頼度を変化させる方法であってもよい。また、信頼度の増加幅および減少幅は同じでなくてもよく、たとえば、増加幅の方が減少幅より大きくてもよい。信頼度の上限は、１００％である。信頼度の下限は、デフォルトで所定の値（たとえば５０％）に設定されていてもよく、あるいは、ユーザが設定可能であってもよい。

図１３（ａ）、（ｂ）は、図１２（ｂ）の処理によるノウハウモデルの修正例を示す図である。

この例では、図１２（ｂ）のステップＳ４１１において、サバとタイのノウハウ情報のうち、遊泳深度が抽出されている。すなわち、ユーザが魚種を修正した魚群の深度が、当該ユーザのノウハウ情報の１つであるサバおよびタイの遊泳深度の条件である４０～１２０ｍおよび６０～１５０ｍに含まれていたため、これらのノウハウ情報が、図１２（ｂ）のステップＳ４１１において抽出されている。

この例では、たとえば、図１１の魚群Ｆ５に対する修正により、魚種がサバからタイに修正されている。このため、図１３（ａ）に示すように、抽出されたサバの遊泳深度に関するノウハウ情報の信頼度が、図１２（ｂ）のステップＳ４１４において、５％だけ減少されている。また、図１３（ｂ）に示すように、抽出されたタイの遊泳深度に関するノウハウ情報の信頼度の方は、図１２（ｂ）のステップＳ４１３において、５％だけ増加されている。

こうして修正された各ノウハウ情報の信頼度が修正されることにより、当該ユーザのノウハウモデルが修正される。次回の魚種判別処理は、修正後のノウハウモデルを用いて、機械学習モデルによる各魚種の予測確率が修正され、修正後の予測確率により、魚種の判別結果が取得される。

＜実施形態の効果＞
実施形態によれば、以下の効果が奏され得る。

図５および図７を参照して説明したとおり、ユーザからのノウハウ情報を用いたノウハウモデルに基づき、機械学習モデルによる各魚種の予測確率が修正されるため、修正後の各魚種の予測確率は、ユーザが属する地域や漁獲海域に、より適合しやすくなる。よって、魚種判別結果の精度を高めることができる。

図６に示したように、ノウハウ情報は、各魚種の魚の水中における特性に関する情報（ここでは、遊泳深度、遊泳速度および群れ方）を含んでいる。各魚種の魚の水中における特性、たとえば、遊泳深度、遊泳速度および群れ方等は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚の水中における特性を含むことにより、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。

図６に示したように、ノウハウ情報は、各魚種の魚に適する海況に関する情報（適正水温）を含んでいる。各魚種の魚に適する海況、たとえば、水温、塩分濃度、潮流の速度等は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚に適する海況を含むことにより、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。

図６に示したように、ノウハウ情報は、各魚種の魚の捕獲時期および捕獲場所に関する情報を含んでいる。各魚種の魚を捕獲できる捕獲時期および捕獲場所は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚の捕獲時期および捕獲場所の少なくとも一方を含むことにより、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。

図１２（ａ）、（ｂ）に示したように、制御部２０１は、判別結果に対するユーザの修正内容を示すフィードバック情報に基づいて、ノウハウモデルにおける予測確率の修正度合い（ノウハウ情報の信頼度）を変更する。これにより、判別結果に対するユーザの修正内容によって、ノウハウモデルにおける予測確率の修正度合い（ノウハウ情報の信頼度）が随時変更されるため、たとえば、ユーザが誤って不適切なノウハウ情報を設定したような場合も、修正後の予測確率を、実際の魚種に応じた予測確率に近づけることができる。

なお、図１２（ｂ）の処理では、各ノウハウ情報の信頼度を変更することによって、ノウハウモデルにおける予測確率の修正度合いが変更されたが、ノウハウモデルにおける予測確率の修正度合いの変更方法は、これに限られるものではない。たとえば、上記式（１）、（２）に代えて、以下の式（４）、（５）により、予測確率が修正される場合、調整率Ｒａがフィードバック情報により修正されてもよい。

＜判別対象の魚群がノウハウ情報の条件を満たす場合＞
修正後の予測確率＝予測確率×（１＋Ｒａ） …（４）

＜判別対象の魚群がノウハウ情報の条件を満たさない場合＞
修正後の予測確率＝予測確率×（１－Ｒａ） …（５）

ここで、調整率Ｒａの初期値は、たとえば０．５に設定され、その後のフィードバック情報により、調整率Ｒａが０．１～１の範囲で変更される。この場合、たとえば、図１２（ｂ）のステップＳ４１３において、処理対象のノウハウ情報に適用される調整率Ｒａが０．０５だけ増加され、ステップＳ４１４では、処理対象のノウハウ情報に適用される調整率Ｒａが０．０５だけ減少される。

図２に示したように、魚種判別システム１は、水中の魚群を探知する水中探知装置１０と、水中探知装置１０と通信可能なサーバ２０と、を備える。ここで、エコーデータ取得部１１０は水中探知装置１０に配置され、機械学習モデル、ノウハウ情報およびノウハウモデルを記憶する記憶部２０２と、これらを用いて魚群の魚種を判別する制御部２０１は、サーバ２０に配置される。この構成によれば、主として、サーバ２０において、魚種判別に必要な機械学習モデルおよびノウハウモデルの構築と、これらを用いた魚種判別の処理が実行される。よって、船等に設置される水中探知装置１０における負担を軽減しつつ、効率的に、魚種判別処理を実行できる。

＜変更例１＞
本発明は、上記実施形態に制限されるものではなく、また、本発明の実施形態は、上記構成の他に種々の変更が可能である。

たとえば、機械学習の学習進度に基づいて、ノウハウモデルにおける予測確率の修正度合いが変更されてもよい。

図１４（ａ）は、機械学習の学習進度に基づいてノウハウモデルにおける予測確率の修正度合いを変更する処理を示すフローチャートである。

制御部２０１は、新たな教師データにより機械学習モデルを更新するごとに（Ｓ５０１：ＹＥＳ）、機械学習の学習深度に応じた修正率を設定する（Ｓ５０２）。この場合、上記式（１）、（２）は、たとえば、以下のように修正される。

＜判別対象の魚群がノウハウ情報の条件を満たす場合＞
修正後の予測確率＝１００％×｛１－（１－Ｒｐ）×（１－Ｒｎ×Ｒｍ）｝ …（６）

＜判別対象の魚群がノウハウ情報の条件を満たさない場合＞
修正後の予測確率＝予測確率×（１－Ｒｎ×Ｒｍ） …（７）

上記式（６）、（７）におけるＲｍが、図１４（ａ）のステップＳ５０２における修正率である。修正率Ｒｍの初期値は１であり、機械学習モデルの学習進度が高まるにつれて１から低減される。したがって、機械学習モデルの学習進度が高まるほど、式（６）、（７）における信頼度Ｒｎ（少数表現）の影響が弱められ、ノウハウモデルにおける予測確率の修正度合いが低減される。

制御部２０１は、たとえば、図１４（ｂ）のテーブルによって、修正率Ｒｍを設定する。学習進度は、たとえば、機械学習モデルの学習に用いた教師データの総数によって規定される。学習進度がＰ１に到達すると、修正率Ｒｍが１からＲ１（Ｒ１＜１）に設定され、その後、学習進度がＰ２に到達すると、修正率ＲｍがＲ１からＲ２（Ｒ２＜Ｒ１）に設定される。以下同様に、次の学習進度に到達するごとに、修正率Ｒｍが低減される。学習進度間の修正率Ｒｍの差分は、必ずしも、一定でなくてもよい。

また、上記式（４）、（５）が用いられる場合は、以下のように修正されればよい。

＜判別対象の魚群がノウハウ情報の条件を満たす場合＞
修正後の予測確率＝予測確率×（１＋Ｒａ×Ｒｍ） …（８）

＜判別対象の魚群がノウハウ情報の条件を満たさない場合＞
修正後の予測確率＝予測確率×（１－Ｒａ×Ｒｍ） …（９）

式（６）、（７）または式（８）、（９）が用いられる場合も、適宜、式（３）が用いられる。

図１４（ａ）の処理によれば、たとえば、機械学習モデルの学習進度が低く各魚種の予測確率の精度が低い場合は、ノウハウモデルにおける予測確率の修正度合いが高められ、その後、機械学習モデルの学習進度が高まり各魚種の予測確率の精度が高まるに応じて、ノウハウモデルにおける予測確率の修正度合いが低減される。このように、機械学習モデルとノウハウモデルとが相補的に作用することにより、修正後の予測確率の精度を効率的に高めることができ、魚種判別結果の精度を高めることができる。

なお、図１４（ａ）により設定される修正率Ｒｍは、必ずしも、全ての魚種に対して適用されなくてもよく、たとえば、機械学習モデルの学習進度が高まっても、判別精度が低い魚種、すなわち、ユーザによる判別結果の修正頻度が高い魚種については、修正率Ｒｍを１に設定し、機械学習モデルによる予測確率が、上記式（１）、（２）と同様の方法により、ノウハウモデルにより修正されてもよい。

＜変更例２＞
上記実施形態では、ユーザにより設定された各魚種のノウハウ情報が、そのまま、ノウハウモデルの生成に用いられたが、たとえば、ユーザにより設定されたノウハウ情報が魚種間で重複する場合に、制御部２０１が、魚種間における重複が生じないようにノウハウ情報を修正してもよい。

図１５は、ノウハウ情報の修正例を示す図である。

この例では、左側の各魚種のノウハウ情報（ここでは遊泳深度）が互いに重複している。この場合、制御部２０１は、魚種間で重複が生じないように、各魚種のノウハウ情報を修正する。図１５の右側には、修正後のノウハウ情報が示されている。この場合、制御部２０１は、修正後のノウハウ情報を用いて、上記実施形態と同様の魚種判別処理を実行する。

なお、ノウハウ情報の修正方法は、図１５に示した方法に限られるものではない。たとえば、サバの遊泳深度が５５ｍ～１２０ｍに修正され、イワシの遊泳深度が２０～５５ｍに修正されてもよい。また、図１５の例では、重複が完全に解消されるように、各魚種のノウハウ情報が修正されたが、重複の範囲が小さくなるように、各魚種のノウハウ情報が修正されてもよい。たとえば、サバの遊泳深度が６０ｍ～１２０ｍに修正され、イワシの遊泳深度が２０～８０ｍに修正されてもよい。

また、上記のように魚種間で重複するノウハウ情報の範囲を修正する処理に代えて、あるいは、この処理とともに、魚種間で重複するノウハウ情報の信頼度の初期値が修正されてもよい。たとえば、図１５の例において、サバおよびイワシの遊泳深度は、その範囲が広いため、これら魚種間のみならずマグロやその他の多くの魚種の遊泳深度とも重複することが想定され得る。このように、所定数以上の多くの魚種と重複するノウハウ情報の信頼度は、その初期値が、１００％より小さい値（たとえば６０％）に設定されてもよい。

以上のように、互いに重複するノウハウ情報の範囲を修正し、あるいは、これらノウハウ情報の信頼度を修正することにより、ノウハウモデルがより適正化され、より適切な魚種判別結果を取得できることが想定され得る。

＜その他の変更例＞
上記実施形態では、フィードバック情報によりノウハウモデルを自動で修正する処理が行われたが、この処理が省略されてもよい。たとえば、ユーザにより魚種が修正される要因となったノウハウ情報について、その修正の頻度または回数が所定の閾値を超えた場合に、このノウハウ情報の再設定をユーザに促す処理が行われてもよい。この場合、サーバ２０の制御部２０１は、このノウハウ情報の再設定を行うための通知を水中探知装置１０に送信し、水中探知装置１０の制御部２０１は、この通知の受信に基づき、このノウハウ情報を再設定するための画面を表示部１０２に表示させる。この場合、制御部２０１は、再設定が必要な理由、たとえば、このノウハウ情報に基づく魚群判別結果がユーザにより度々修正されていることを、表示部１０２にさらに表示させてもよい。

また、上記実施形態では、ユーザにより設定されるノウハウ情報の種類の一例が、図６の入力画面５００のノウハウ入力領域５０２に示されたが、ユーザにより設定されるノウハウ情報の種類はこれに限られるものではない。たとえば、塩分濃度や潮流の速度等の他の種類のノウハウ情報が、ユーザにより設定可能なノウハウ情報に含まれてもよい。

また、図６の入力画面５００では、ノウハウ情報ごとにその信頼度をユーザが設定可能であったが、各ノウハウ情報の信頼度が設定可能でなくてもよい。この場合、たとえば、入力画面５００のノウハウ入力領域５０２に対してユーザが入力したノウハウ情報は、全てが、高信頼度に設定される。このため、入力画面５００には、自信があるものだけ入力を行わせるためのメッセージが、さらに表示されてもよい。

また、上記実施形態では、図５に示すように、機械学習モデル３０２とノウハウモデル３１２とが個別に構成されたが、ノウハウモデル３１２が機械学習モデル３０２に組み込まれてもよい。

また、上記実施形態では、機械学習モデル、ノウハウ情報およびノウハウモデルの記憶およびこれらを用いた魚種の判別処理がサーバ２０側で行われたが、これらの記憶および判別処理が水中探知装置１０側で行われてもよい。

この場合、サーバ２０は、最新の機械学習モデルを水中探知装置１０に随時送信し、水中探知装置１０の制御部１０１は、サーバ２０から受信した最新の機械学習モデルをメモリに記憶させる。また、水中探知装置１０の制御部１０１は、ユーザにより設定された各魚種のノウハウ情報をメモリに記憶させ、さらに、このノウハウ情報を用いて生成したノウハウモデルをメモリに記憶させる。そして、制御部１０１は、エコーデータ取得部１１０で取得したエコーデータに基づいて、上記サーバ２０の制御部２０１と同様、機械学習モデルおよびノウハウモデルを用いた魚種判別を実行する。また、制御部１０１は、図４（ａ）と同様の情報を、メモリに記憶させ、図１１のエコー画像Ｐ１を介して入力されたフィードバック情報に基づき、上記と同様、ノウハウモデルの修正を行う。

なお、機械学習モデル、ノウハウ情報およびノウハウモデルの記憶およびこれらを用いた魚種の判別処理が、水中探知装置１０とサーバ２０とにより分担して行われてもよい。

また、上記実施形態では、図１１の画面によって、ユーザからのフィードバック情報の入力がなされたが、フィードバック情報の入力方法は、これに限られるものではない。

また、上記実施形態では、機械学習モデルが、専門家が作成した教師データを用いた機械学習により生成されたが、機械学習モデルの機械学習に用いる教師データは、これに限られるものではない。たとえば、各ユーザが、自身の漁獲結果からエコー画像上の魚群とその魚種を入力し、この魚群のエコーデータと当該魚群の魚種が、機械学習モデルの教師データとして用いられてもよい。この場合、サーバ２０は、各ユーザが入力した魚群およびそのエコーデータと当該魚群の魚種とを教師データとして記憶する。サーバ２０は、たとえば、地域ごとこの教師データを集約し、地域ごとに機械学習モデルを生成してもよい。この場合、サーバ２０の制御部２０１は、地域ごとに集約した教師データにより地域ごとの機械学習モデルに対する機械学習を行えばよい。

また、上記実施形態では、水中探知装置１０が魚群探知機であったが、水中探知装置１０がソナー等、魚群探知機以外の装置であってもよい。

この他、本発明の実施形態は、特許請求の範囲に記載の範囲で適宜種々の変更可能である。

１ 魚種判別システム
１０ 水中探知装置
２０ サーバ
２０１ 制御部
２０２ 記憶部
３０２ 機械学習モデル
３１２、３２２ ノウハウモデル

Claims (11)

1. 水中のエコーデータを取得するエコーデータ取得部と、
   記憶部と、
   制御部と、を備え、
   前記記憶部は、
   前記エコーデータに基づき魚種ごとに予測確率を出力する機械学習モデルと、
   ユーザにより設定された魚群に関する前記魚種ごとのノウハウ情報と、
   前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルと、を記憶し、
   前記制御部は、
   前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を前記ノウハウモデルで修正した修正結果に基づいて、前記魚群の魚種を判別する、
   ことを特徴とする魚種判別システム。
2. 請求項１に記載の魚種判別システムにおいて、
   前記ノウハウ情報は、前記魚種の魚の水中における特性に関する情報を含む、
   ことを特徴とする魚種判別システム。
3. 請求項１に記載の魚種判別システムにおいて、
   前記ノウハウ情報は、前記魚種の魚に適する海況に関する情報を含む、
   ことを特徴とする魚種判別システム。
4. 請求項１に魚種判別システムにおいて、
   前記ノウハウ情報は、前記魚種の魚の捕獲時期および捕獲場所の少なくとも一方に関する情報を含む、
   ことを特徴とする魚種判別システム。
5. 請求項１に記載の魚種判別システムにおいて、
   前記制御部は、前記判別結果に対するユーザの修正内容を示すフィードバック情報に基づいて、前記ノウハウモデルにおける前記予測確率の修正度合いを変更する、
   ことを特徴とする魚種判別システム。
6. 請求項１に記載の魚種判別システムにおいて、
   前記制御部は、前記機械学習の学習進度に基づいて、前記ノウハウモデルにおける前記予測確率の修正度合いを変更する、
   ことを特徴とする魚種判別システム。
7. 請求項１に記載の魚種判別システムにおいて、
   水中の魚群を探知する水中探知装置と、
   前記水中探知装置と通信可能なサーバと、を備え、
   前記エコーデータ取得部は前記水中探知装置に配置され、
   前記記憶部および前記制御部は、前記サーバに配置される、
   ことを特徴とする魚種判別システム。
8. 請求項７に記載の魚種判別システムにおいて、
   前記水中探知装置は、
   表示部と、
   入力部と、
   前記表示部に前記判別結果を表示させるとともに、前記入力部を介して当該判別結果の修正を受け付け、前記修正をフィートバック情報として前記サーバに送信する制御部と、を備える。
   ことを特徴とする魚種判別システム。
9. 水中の魚群を探知する水中探知装置と通信可能なサーバであって、
   記憶部と、
   制御部と、を備え、
   前記記憶部は、
   前記水中探知装置から受信するエコーデータに基づき魚種ごとに予測確率を出力する機械学習モデルと、
   ユーザにより設定された魚群に関する前記魚種ごとのノウハウ情報と、
   前記機械学習モデルによる前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルと、を記憶し、
   前記制御部は、
   前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を前記ノウハウモデルで修正した修正結果に基づいて、前記魚群の魚種を判別する、
   ことを特徴とするサーバ。
10. 水中のエコーデータを取得し、
    前記エコーデータに基づき魚種ごとに予測確率を機械学習モデルにより算出し、
    魚群に関するユーザからのノウハウ情報を前記魚種ごとに記憶し、
    前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルにより、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を修正し、
    前記ノウハウモデルにより修正した前記魚種ごとの前記予測確率に基づいて前記魚群の魚種を判別する、
    ことを特徴とする魚種判別方法。
11. 水中から取得したエコーデータに基づき魚種ごとの予測確率を機械学習モデルにより算出する機能と、
    魚群に関するユーザからのノウハウ情報を前記魚種ごとに記憶する機能と、
    前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルにより、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を修正する機能と、
    ノウハウモデルにより修正した前記魚種ごとの前記予測確率に基づいて前記魚群の魚種を判別する機能とを、コンピュータに実行させるプログラム。
    ことを特徴とする魚種判別方法。

Images