JP7510559B1 - Information processing system, program, and information processing method - Google Patents
Information processing system, program, and information processing method Download PDFInfo
- Publication number
- JP7510559B1 JP7510559B1 JP2023199782A JP2023199782A JP7510559B1 JP 7510559 B1 JP7510559 B1 JP 7510559B1 JP 2023199782 A JP2023199782 A JP 2023199782A JP 2023199782 A JP2023199782 A JP 2023199782A JP 7510559 B1 JP7510559 B1 JP 7510559B1
- Authority
- JP
- Japan
- Prior art keywords
- fish
- image
- size
- distance
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 80
- 238000003672 processing method Methods 0.000 title claims description 9
- 241000251468 Actinopterygii Species 0.000 claims abstract description 424
- 238000004088 simulation Methods 0.000 claims abstract description 38
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 59
- 230000015654 memory Effects 0.000 description 21
- 238000000034 method Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000009182 swimming Effects 0.000 description 8
- 101100456831 Caenorhabditis elegans sams-5 gene Proteins 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、当該魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成するＧＴデータ生成部と、複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、当該魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得するサイズ推定部とを備える、情報処理システムを提供する。【選択図】図１[Solution] An information processing system is provided that includes a GT data generation unit that uses simulation data obtained by simulating a fish to generate size GT data including an image of the fish and image size information indicating the three-dimensional size of the fish in image space, a learning execution unit that executes machine learning using a plurality of the size GT data to generate a learning model that takes an image of the fish as input and outputs image size information indicating the three-dimensional size of the fish in image space, and a size estimation unit that inputs a fish image obtained by capturing an image of the fish into the learning model generated by the learning execution unit to obtain the image size information of the fish. [Selected Figure] Figure 1
Description
本発明は、情報処理システム、プログラム、及び情報処理方法に関する。 The present invention relates to an information processing system, a program, and an information processing method.
特許文献１には、回遊中の魚を撮像した撮像画像から、魚の長さ及び高さの実サイズを算出する魚体サイズ算出装置について記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特許第６６９４０３９号
Patent Document 1 describes a fish size calculation device that calculates the actual size of a fish, that is, the length and height of the fish, from an image captured of the migrating fish.
[Prior Art Literature]
[Patent Documents]
[Patent Document 1] Japanese Patent No. 6694039
本発明の一実施態様によれば、情報処理システムが提供される。前記情報処理システムは、ＧＴデータ生成部を備えてよい。前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、当該魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成してよい。前記情報処理システムは、学習実行部を備えてよい。前記学習実行部は、複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、当該魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成してよい。前記情報処理システムは、サイズ推定部を備えてよい。前記サイズ推定部は、魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得してよい。 According to one embodiment of the present invention, an information processing system is provided. The information processing system may include a GT data generation unit. The GT data generation unit may use simulation data of a simulated fish to generate size GT data including an image of a fish and image size information indicating the three-dimensional size of the fish in an image space. The information processing system may include a learning execution unit. The learning execution unit may execute machine learning using a plurality of the size GT data to generate a learning model that inputs an image of a fish and outputs image size information indicating the three-dimensional size of the fish in an image space. The information processing system may include a size estimation unit. The size estimation unit may input a fish image of a fish into the learning model generated by the learning execution unit to obtain image size information of the fish.
前記情報処理システムにおいて、前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の姿勢を示す姿勢情報とを含む姿勢ＧＴデータを生成してよく、前記学習実行部は、前記複数のサイズＧＴデータと、複数の前記姿勢ＧＴデータとを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の姿勢を示す姿勢情報を出力とする姿勢学習モデルと、前記魚の画像と前記姿勢情報とを入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルとを含む前記学習モデルを生成してよく、前記サイズ推定部は、前記魚撮像画像を、前記姿勢学習モデルに入力し、前記姿勢学習モデルから出力された前記姿勢情報と、前記魚撮像画像とを前記サイズ学習モデルに入力して、前記魚の前記画像サイズ情報を取得してよい。 In the information processing system, the GT data generation unit may use simulation data that simulates a fish to generate posture GT data including an image of the fish and posture information indicating the posture of the fish, and the learning execution unit may execute machine learning using the multiple size GT data and the multiple posture GT data to generate the learning model including a posture learning model that receives an image of the fish as an input and outputs posture information indicating the posture of the fish, and a size learning model that receives an image of the fish and the posture information as an input and outputs image size information indicating the three-dimensional size of the fish in image space, and the size estimation unit may input the fish image to the posture learning model and input the posture information output from the posture learning model and the fish image to the size learning model to obtain the image size information of the fish.
前記いずれかの情報処理システムは、前記サイズ推定部が複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報を用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部とを備えてよい。前記情報処理システムは、複数の魚を含む画像を入力とし、前記複数の魚同士の相対距離を出力とする相対距離学習モデルを記憶する記憶部を備えてよく、前記実サイズ情報生成部は、前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記複数の魚３０の画像サイズ情報とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成してよい。前記実サイズ情報生成部は、ステレオ視によって前記カメラと前記一の魚との距離を特定してよい。前記実サイズ情報生成部は、前記魚撮像画像に含まれる複数の魚のうち、タグが付されており、実空間における実サイズが既知である前記一の魚を、前記タグによって特定し、前記一の魚の前記実サイズに基づいて、前記カメラと前記一の魚との距離を特定してよい。前記実サイズ情報生成部は、実空間における実サイズと前記カメラとの距離とが既知の物体を含む前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚及び前記物体のそれぞれ同士の相対距離を特定し、前記物体の前記実サイズ及び前記カメラとの前記距離と、前記相対距離とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成してよい。
Any of the information processing systems may include a real size information generating unit that generates real size information indicating a three-dimensional size in real space for each of the multiple fishes using image size information of the multiple fishes acquired by inputting a fish image including the multiple fishes into the learning model by the size estimation unit, and a weight estimating unit that estimates weight for each of the multiple fishes using the real size information. The information processing system may include a storage unit that stores a relative distance learning model in which an image including the multiple fishes is input and the relative distance between the multiple fishes is output, and the real size information generating unit may identify the distance between a camera that captured the fish image and one of the multiple fishes, input the fish image into the relative distance learning model to identify the relative distance between the multiple fishes, and generate the real size information for each of the multiple fishes using the distance between the camera and the one fish, the relative distance between the multiple fishes, and image size information of the
前記いずれかの情報処理システムにおいて、前記ＧＴデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚を仮想的なカメラで撮像した画像と、前記魚と前記仮想的なカメラとの距離と、前記カメラのパラメータとを含む距離ＧＴデータを生成してよく、前記学習実行部は、複数の前記距離ＧＴデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成してよい。前記情報処理システムは、前記サイズ推定部が複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、当該魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部とを備えてよい。 In any of the information processing systems, the GT data generation unit may use simulation data of a fish to generate distance GT data including an image of the fish captured by a virtual camera, a distance between the fish and the virtual camera, and parameters of the camera, and the learning execution unit may execute machine learning using the distance GT data to generate a distance learning model that inputs an image of the fish and parameters of the camera that captured the image and outputs the distance between the fish and the camera. The information processing system may include a real size information generation unit that generates real size information indicating a three-dimensional size in real space for each of the multiple fishes based on image size information of the multiple fishes obtained by inputting a fish image containing the multiple fishes into the learning model and the distances from the camera of each of the multiple fishes output from the distance learning model by inputting the fish image and parameters of the camera that captured the fish image into the distance learning model, and a weight estimation unit that estimates weight for each of the multiple fishes using the real size information.
前記いずれかの情報処理システムは、複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得部と、前記サイズ推定部が前記複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、前記距離測定部によって測定された前記複数の魚のそれぞれとの距離とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部を備えてよい。 Any of the information processing systems may include a distance information acquisition unit that acquires distance information indicating the distance between the distance measuring sensor and each of the multiple fishes, measured by the distance measuring sensor shining light onto the multiple fishes; a real size information generation unit that generates real size information indicating the three-dimensional size in real space for each of the multiple fishes, using image size information of the multiple fishes acquired by the size estimation unit by inputting a fish image containing the multiple fishes into the learning model and the distances to each of the multiple fishes measured by the distance measurement unit; and a weight estimation unit that estimates the weight of each of the multiple fishes using the real size information.
本発明の一実施態様によれば、コンピュータを、前記情報処理システムとして機能させるためのプログラムが提供される。 According to one embodiment of the present invention, a program is provided for causing a computer to function as the information processing system.
本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成するＧＴデータ生成段階を備えてよい。前記情報処理方法は、複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行段階を備えてよい。前記情報処理方法は、魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得するサイズ推定段階を備えてよい。 According to one embodiment of the present invention, there is provided an information processing method executed by a computer. The information processing method may include a GT data generation step of generating size GT data including an image of a fish and image size information indicating the three-dimensional size of the fish in an image space by using simulation data obtained by simulating a fish. The information processing method may include a learning execution step of generating a learning model in which an image of a fish is input and image size information indicating the three-dimensional size of the fish in an image space is output by executing machine learning using a plurality of the size GT data. The information processing method may include a size estimation step of inputting a fish image obtained by capturing an image of a fish into the learning model generated in the learning execution step to obtain image size information of the fish.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 Note that the above summary of the invention does not list all of the necessary features of the present invention. Also, subcombinations of these features may also be inventions.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 The present invention will be described below through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Furthermore, not all of the combinations of features described in the embodiments are necessarily essential to the solution of the invention.
従来、魚のサイズ推定を行い、重さの推定を行っている。しかし、従来の魚のサイズ推定では、長さ又は尾叉長と高さのみであり、そのため、精度が低い。その理由は、魚種によっては、成長とともに、長くなっていくものもあれば、ある程度の長さまで育つと体幅（厚み）が育っていくものがある。体幅が体重推定に非常に重要となっている。しかしながら、３次元のサイズ推定は非常に難しい。特に水中ではＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）のようなデプスセンサが有効ではない。本実施形態に係る情報処理システム１００では、水中でのサイズ推定をシミュレーションベースで行い、体重推定のＧｒｏｕｎｄ Ｔｒｕｔｈに実際の体側データを用い、カメラビジョンから体重推定を精度高く行う。
Conventionally, fish size is estimated and weight is estimated. However, conventional fish size estimation only uses length or fork length and height, and therefore the accuracy is low. The reason is that some fish species grow longer as they grow, while others grow wider (thicker) when they reach a certain length. Body width is very important for weight estimation. However, 3D size estimation is very difficult. Depth sensors such as LiDAR (Light Detection and Ranging) are not effective especially underwater. In the
図１は、情報処理システム１００の一例を概略的に示す。情報処理システム１００は、学習装置１０２、及び推定装置１０４によって構成されてよい。なお、情報処理システム１００が、学習装置１０２及び推定装置１０４によって構成されるのは一例であって、これに限られない。
FIG. 1 shows an example of an
情報処理システム１００は、図１に例示するように２つの装置によって構成されてよく、１つの装置によって構成されてもよい。また、情報処理システム１００は、３つ以上の装置によって構成されてもよい。
The
例えば、情報処理システム１００が、学習装置１０２及び推定装置１０４のうち、学習装置１０２のみを備え、推定装置１０４は、情報処理システム１００の外部の装置であってよい。情報処理システム１００が、学習装置１０２及び推定装置１０４のうち、推定装置１０４のみを備え、学習装置１０２は、情報処理システム１００の外部の装置であってもよい。
For example, the
情報処理システム１００は、ネットワーク２０を介してカメラ２００と通信してよい。ネットワーク２０は、インターネットを含んでよい。ネットワーク２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでよい。ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。
The
情報処理システム１００は、ネットワーク２０に有線接続されてよい。情報処理システム１００は、ネットワーク２０に無線接続されてもよい。情報処理システム１００は、無線基地局を介してネットワーク２０に接続されてよい。情報処理システム１００は、Ｗｉ－Ｆｉ（登録商標）アクセスポイントを介してネットワーク２０に接続されてよい。
The
学習装置１０２は、ネットワーク２０に有線接続されてよい。学習装置１０２は、ネットワーク２０に無線接続されてもよい。学習装置１０２は、無線基地局を介してネットワーク２０に接続されてよい。学習装置１０２は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。
The
推定装置１０４は、ネットワーク２０に有線接続されてよい。推定装置１０４は、ネットワーク２０に無線接続されてもよい。推定装置１０４は、無線基地局を介してネットワーク２０に接続されてよい。推定装置１０４は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。
The
カメラ２００は、魚３０を撮像可能な任意の場所に設置される。カメラ２００は、例えば、サイズや体重を推定する対象である、生簀等を遊泳している複数の魚３０を撮像する。カメラ２００は、ネットワーク２０に有線接続されてよい。カメラ２００は、ネットワーク２０に無線接続されてよい。カメラ２００は、無線基地局を介してネットワーク２０に接続されてよい。カメラ２００は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。推定装置１０４とカメラ２００とが直接接続されてもよい。推定装置１０４が、カメラ２００を内蔵してもよい。推定装置１０４がカメラ２００を内蔵する場合、推定装置１０４が、魚３０を撮像可能な任意の場所に設置されてよい。
The
情報処理システム１００は、魚３０を撮像した撮像画像から、魚３０の画像空間における３次元のサイズを推定する。魚３０の３次元のサイズとは、魚３０の長さ、高さ、及び体幅であってよい。情報処理システム１００は、推定した魚３０の画像空間における３次元のサイズから、魚３０の実空間における３次元のサイズを推定する。情報処理システム１００は、推定した魚３０の実空間における３次元のサイズを用いて、魚３０の重量を推定する。
The
学習装置１０２は、魚３０を撮像した撮像画像から魚３０の画像空間における３次元のサイズを推定するための学習を実行してよい。このような学習を実行するためには、魚３０の画像と当該魚３０のサイズとを含むＧＴデータが大量に必要となるが、このようなＧＴデータを大量に準備することは容易ではない。
The
そこで、本実施形態に係る学習装置１０２は、魚３０をシミュレーションしたシミュレーションデータを用いて、魚３０の画像と、魚３０の画像空間における３次元のサイズを示すサイズ情報（画像サイズ情報と記載する場合がある）とを含むＧＴデータ（サイズＧＴデータと記載する場合がある）を大量に自動生成してよい。学習装置１０２は、生成した大量のサイズＧＴデータを用いた機械学習を実行することによって、魚３０の画像を入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成してよい。当該学習モデルは、１匹の魚３０が含まれる画像が入力された場合、当該１匹の魚３０の画像サイズ情報を出力し、複数の魚３０が含まれる画像が入力された場合、当該複数の魚３０のそれぞれの画像サイズ情報を出力することができる。例えば、学習装置１０２は、大量のサイズＧＴデータを用いたディープラーニングを実行することによって、魚３０の画像を入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とするニューラルネットワーク（サイズニューラルネットワークと記載する場合がある）を生成する。学習に用いるディープネットワークとして、既存の３Ｄオブジェクト検出用のネットワークを用いてもよい。
Therefore, the
学習装置１０２は、魚３０の画像から魚３０の姿勢推定（Ｐｏｓｅ推定と呼ばれる場合もある）を行うための学習を行ってもよい。例えば、学習装置１０２は、魚３０をシミュレーションしたシミュレーションデータを用いて、魚３０の画像と、魚３０の姿勢を示す姿勢情報とを含むＧＴデータ（姿勢ＧＴデータと記載する場合がある）を大量に自動生成してよい。学習装置１０２は、生成した大量の姿勢ＧＴデータを用いた機械学習を実行することによって、魚３０の画像を入力とし、魚３０の姿勢を示す姿勢情報を出力とする学習モデル（姿勢学習モデルと記載する場合がある）を生成してよい。例えば、学習装置１０２は、魚３０の画像を入力とし、魚３０の姿勢情報を出力とするニューラルネットワーク（姿勢ニューラルネットワークと記載する場合がある）を生成する。学習装置１０２は、既存の人間の姿勢推定用のニューラルネットワークに対して転移学習を行うことによって、魚用の姿勢ニューラルネットワークを生成してもよい。
The
そして、学習装置１０２は、魚３０の画像と魚３０の姿勢情報とを入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデル（サイズ学習モデルと記載する場合がある）を生成してよい。このように、学習装置１０２は、複数のサイズＧＴデータと、複数の姿勢ＧＴデータとを用いた機械学習を実行することによって、姿勢学習モデルとサイズ学習モデルを含む学習モデル（混合学習モデルと記載する場合がある）を生成してよい。学習装置１０２は、姿勢ニューラルネットワークと、サイズニューラルネットワークとのＦｕｓｅｄネットワークを生成してよい。
The
推定装置１０４は、学習装置１０２が生成した学習モデルを、学習装置１０２から受信してよい。推定装置１０４は、学習装置１０２から、姿勢学習モデル及びサイズ学習モデルを受信してよい。推定装置１０４は、学習装置１０２から、混合学習モデルを受信してよい。
The
推定装置１０４は、学習装置１０２が生成した学習モデルを用いて、魚３０の撮像画像から、魚３０の画像空間における３次元のサイズを推定してよい。例えば、推定装置１０４は、複数の魚３０を撮像した魚撮像画像をカメラ２００から受信して、当該魚撮像画像を、魚３０の画像を入力とし、魚３０の画像サイズ情報を出力とする学習モデルに入力して、学習モデルから出力された魚３０の画像サイズ情報を取得してよい。
The
推定装置１０４は、魚撮像画像を、姿勢学習モデルに入力し、姿勢学習モデルから出力された魚３０の姿勢情報と、魚撮像画像とをサイズ学習モデルに入力して、サイズ学習モデルから出力された魚３０の画像サイズ情報を取得してよい。推定装置１０４は、魚撮像画像を、混合学習モデルに入力して、混合学習モデルから出力された魚３０の画像サイズ情報を取得してよい。
The
推定装置１０４は、魚３０の画像サイズ情報を用いて、魚３０の実空間における３次元のサイズを示す実サイズ情報を生成してよい。推定装置１０４は、魚３０の実サイズ情報を用いて、魚３０の重量を推定してよい。
The
図２は、情報処理システム１００の機能構成の一例を概略的に示す。情報処理システム１００は、記憶部１１０、データ取得部１１２、シミュレーションデータ生成部１１４、ＧＴデータ生成部１１６、学習実行部１１８、サイズ推定部１２０、実サイズ情報生成部１２２、距離情報取得部１２４、重量推定部１２６、及び出力制御部１２８を備える。情報処理システム１００がこれらの全てを備えることは必須とは限らない。
Figure 2 shows an example of a schematic functional configuration of the
データ取得部１１２は、各種データを取得する。データ取得部１１２は、取得したデータを記憶部１１０に記憶させる。
The
データ取得部１１２は、例えば、学習に用いるデータを取得する。データ取得部１１２は、例えば、魚３０をシミュレーションしたシミュレーションデータを取得する。データ取得部１１２は、遊泳している魚３０をシミュレーションしてシミュレーションデータを取得してよい。データ取得部１１２は、静止している魚３０をシミュレーションしたシミュレーションデータを取得してもよい。データ取得部１１２は、外部の装置によって生成されたシミュレーションデータを外部から受信してよい。
The
データ取得部１１２は、例えば、サイズや重量を推定する対象の魚３０のデータを取得する。データ取得部１１２は、対象の魚３０をカメラ２００が撮像した魚撮像画像を、カメラ２００から受信する。データ取得部１１２は、対象となる、遊泳している魚３０をカメラ２００が撮像した魚撮像画像を、カメラ２００から受信してよい。データ取得部１１２は、対象となる、静止している魚３０をカメラ２００が撮像した魚撮像画像を、カメラ２００から受信してもよい。
The
シミュレーションデータ生成部１１４は、魚３０をシミュレーションしたシミュレーションデータを生成する。シミュレーションデータ生成部１１４は、遊泳している魚３０をシミュレーションしたシミュレーションデータを生成してよい。シミュレーションデータ生成部１１４は、静止している魚３０をシミュレーションしたシミュレーションデータを生成してよい。
The simulation
シミュレーションデータは、様々な種類の様々なサイズの魚３０をシミュレーションしたデータであってよい。
The simulation data may be
ＧＴデータ生成部１１６は、ＧＴデータを生成する。ＧＴデータ生成部１１６は、生成したＧＴデータを記憶部１１０に記憶させる。
The GT
例えば、ＧＴデータ生成部１１６は、シミュレーションデータを用いて、魚３０の画像と、魚３０の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成する。ＧＴデータ生成部１１６は、遊泳している魚３０の画像と、魚３０の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成してよい。ＧＴデータ生成部１１６は、静止している魚３０の画像と、魚３０の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴデータを生成してよい。ＧＴデータ生成部１１６は、様々な種類の様々なサイズの魚３０を対象とした、複数のサイズＧＴデータを生成する。
For example, the GT
例えば、ＧＴデータ生成部１１６は、シミュレーションデータを用いて、魚３０の画像と、魚３０の姿勢を示す姿勢情報とを含む姿勢ＧＴデータを生成する。ＧＴデータ生成部１１６は、様々な種類の様々なサイズの魚３０の様々な姿勢を対象とした、複数の姿勢ＧＴデータを生成する。
For example, the GT
学習実行部１１８は、魚３０を撮像した撮像画像から魚３０の画像空間における３次元のサイズを推定するための学習を実行する。学習実行部１１８は、ＧＴデータ生成部１１６によって生成された複数のサイズＧＴデータを用いた機械学習を実行することによって、魚３０の画像を入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成してよい。当該学習モデルは、１匹の魚３０が含まれる画像が入力された場合、当該１匹の魚３０の画像サイズ情報を出力し、複数の魚３０が含まれる画像が入力された場合、当該複数の魚３０のそれぞれの画像サイズ情報を出力することができる。学習実行部１１８は、複数のサイズＧＴデータを用いたディープラーニングを実行することによって、魚３０の画像を入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とするサイズニューラルネットワークを生成してよい。学習実行部１１８は、例えば、既存の３Ｄオブジェクト検出用のネットワークを用いたディープラーニングを実行してよい。
The learning
学習実行部１１８は、魚３０の画像から魚３０の姿勢推定を行うための学習を行ってよい。学習実行部１１８は、ＧＴデータ生成部１１６によって生成された複数の姿勢ＧＴデータを用いた機械学習を実行することによって、魚３０の画像を入力とし、魚３０の姿勢を示す姿勢情報を出力とする姿勢学習モデルを生成してよい。姿勢学習モデルは、１匹の魚３０が含まれる画像が入力された場合、当該１匹の魚３０の姿勢情報を出力し、複数の魚３０が含まれる画像が入力された場合、当該複数の魚３０のそれぞれの姿勢情報を出力することができる。学習実行部１１８は、複数の姿勢ＧＴデータを用いたディープラーニングを実行することによって、魚３０の画像を入力とし、魚３０の姿勢情報を出力とする姿勢ニューラルネットワークを生成してよい。学習実行部１１８は、既存の人間の姿勢推定用のニューラルネットワークに対して転移学習を行うことによって、魚用の姿勢ニューラルネットワークを生成してもよい。
The learning
学習実行部１１８は、魚３０の画像と魚３０の姿勢情報とを入力とし、魚３０の画像空間における３次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルを生成してよい。このように、学習実行部１１８は、複数のサイズＧＴデータと、複数の姿勢ＧＴデータとを用いた機械学習を実行することによって、姿勢学習モデルとサイズ学習モデルを含む混合学習モデルを生成してよい。例えば、学習実行部１１８は、姿勢ニューラルネットワークと、サイズニューラルネットワークとを混合したＦｕｓｅｄネットワークを生成する。
The learning
サイズ推定部１２０は、データ取得部１１２が取得した、魚３０を撮像した魚撮像画像を用いて、魚撮像画像に含まれる魚３０の画像空間における３次元のサイズを推定する。サイズ推定部１２０は、魚撮像画像を、学習実行部１１８によって生成された学習モデルに入力して、学習モデルから出力された画像サイズ情報を取得してよい。サイズ推定部１２０は、取得した画像サイズ情報を記憶部１１０に記憶させる。ＧＴデータ生成部１１６は、サイズＧＴデータを大量に自動生成することができ、大量のサイズＧＴデータを用いて生成された学習モデルは、高い精度で魚３０のサイズを推定することができる。このため、サイズ推定部１２０は、高い精度で魚３０の画像空間における３次元のサイズを推定することができる。
The
サイズ推定部１２０は、魚撮像画像を、学習実行部１１８によって生成された姿勢学習モデルに入力し、姿勢学習モデルから出力された姿勢情報と、魚撮像画像とを、学習実行部１１８によって生成されたサイズ学習モデルに入力して、魚３０の画像サイズ情報を取得してもよい。また、サイズ推定部１２０は、魚撮像画像を、学習実行部１１８によって生成された混合学習モデルに入力し、混合学習モデルから出力された魚３０の画像サイズ情報を取得してもよい。例えば、遊泳している魚３０を撮像した画像における魚３０は、カメラ２００に対して様々な姿勢を取り得る。例えば、魚３０の側面がカメラ２００に向いている場合は、魚３０のサイズを比較的推定しやすいが、魚３０の正面や背面がカメラ２００に向いていたり、魚３０の体が曲がっている状態で撮像されたりした場合、魚３０のサイズを推定することが比較的難しくなる。それに対して、魚３０の姿勢を推定することによって、魚３０の側面がカメラ２００に向いている状態に変換する知識を学習モデルに与えることができ、サイズ推定の精度を向上させることができる。
The
実サイズ情報生成部１２２は、サイズ推定部１２０が複数の魚３０を含む魚撮像画像を学習モデルに入力した取得した複数の魚３０の画像サイズ情報を用いて、複数の魚３０のそれぞれについて、実世界における３次元のサイズを示す実サイズ情報を生成する。実サイズ情報生成部１２２は、生成した実サイズ情報を記憶部１１０に記憶させる。
The real size
例えば、実サイズ情報生成部１２２は、複数の魚３０のうちの一の魚３０と、魚撮像画像を撮像したカメラ２００との距離を特定する。実サイズ情報生成部１２２は、複数の魚３０を含む画像を入力とし、複数の魚３０同士の相対距離を出力とする相対距離学習モデルに、魚撮像画像を入力して、複数の魚３０同士の相対距離を特定する。実サイズ情報生成部１２２は、特定したカメラ２００と一の魚３０との距離と、特定した複数の魚３０同士の相対距離と、複数の魚３０の画像サイズ情報とを用いて、複数の魚３０のそれぞれの実サイズ情報を生成する。具体例として、実サイズ情報生成部１２２は、カメラ２００と一の魚３０との距離と、複数の魚３０同士の相対距離とを用いて、カメラ２００と複数の魚３０のそれぞれとの距離を算出する。実サイズ情報生成部１２２は、カメラ２００と複数の魚３０のそれぞれとの距離と、複数の魚３０の画像サイズ情報とを用いて、複数の魚３０の実サイズ情報を生成する。
For example, the real size
相対距離学習モデルは、予めデータ取得部１１２が外部から取得して、記憶部１１０に記憶させてよい。相対距離学習モデルは、複数の魚３０を含む画像と、複数の魚３０を撮像したカメラとの距離とを含むＧＴデータを用いた機械学習を実行することによって生成可能である。画像に含まれる魚３０は、カメラとの距離によって明度等が異なるので、機械学習によって、画像から複数の魚３０同士の相対距離を推定する学習モデルを生成することが可能である。相対距離学習モデルは、学習実行部１１８によって生成されてもよい。例えば、ＧＴデータ生成部１１６が、シミュレーションデータを用いて、複数の魚３０を含む画像と、仮想的なカメラとの距離を含むＧＴデータを複数生成する。学習実行部１１８は、ＧＴデータ生成部１１６によって生成された複数のＧＴデータを用いた機械学習を実行することによって、相対距離学習モデルを生成する。
The relative distance learning model may be acquired in advance by the
実サイズ情報生成部１２２は、例えば、ステレオ視によってカメラ２００と一の魚３０との距離を特定する。実サイズ情報生成部１２２は、魚撮像画像に含まれる複数の魚３０のうち、タグが付されており、実空間における実サイズが既知である一の魚３０を、タグによって特定し、一の魚３０の実サイズに基づいて、カメラ２００と一の魚３０との距離を特定してもよい。実サイズ情報生成部１２２は、実空間における実サイズとカメラ２００との距離とが既知の物体を含む魚撮像画像を相対距離学習モデルに入力して、複数の魚及び物体のそれぞれ同士の相対距離を特定し、物体の実サイズ及びカメラ２００との距離と、当該相対距離とを用いて、複数の魚３０のそれぞれの実サイズ情報を生成してもよい。
The real size
情報処理システム１００は、カメラパラメータを含む学習を実行することによって、複数の魚３０を含む魚撮像画像から、複数の魚３０の実サイズ情報を生成するようにしてもよい。情報処理システム１００が使用するカメラパラメータの例として、レンズの焦点距離、レンズの歪、明度、及び射影等が挙げられるが、これらに限られない。例えば、ＧＴデータ生成部１１６が、シミュレーションデータ生成部１１４によって生成されたシミュレーションデータを用いて、魚３０を仮想的なカメラで撮像した画像と、魚３０と仮想的なカメラとの距離と、カメラのパラメータとを含むＧＴデータ（距離ＧＴデータと記載する場合がある）を生成する。学習実行部１１８が、複数の距離ＧＴデータを用いた機械学習を実行することによって、魚３０の画像及び当該画像を撮像したカメラのパラメータを入力とし、魚３０とカメラとの距離を出力とする学習モデル（距離学習モデルと記載する場合がある）を生成する。そして、実サイズ情報生成部１２２が、サイズ推定部１２０が複数の魚３０を含む魚撮像画像を学習モデルに入力して取得した複数の魚３０の画像サイズ情報と、当該魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを距離学習モデルに入力して距離学習モデルから出力された複数の魚３０のそれぞれのカメラからの距離と、に基づいて、複数の魚３０のそれぞれについて実サイズ情報を生成する。
The
距離情報取得部１２４は、複数の魚３０に対して測距センサが光を照射することによって測定した、測距センサと複数の魚３０のそれぞれとの距離を示す距離情報を取得する。実サイズ情報生成部１２２は、サイズ推定部１２０が複数の魚３０を含む魚撮像画像を学習モデルに入力して取得した複数の魚３０の画像サイズ情報と、距離情報取得部１２４が取得した距離情報とを用いて、複数の魚３０のそれぞれについて実サイズ情報を生成してもよい。
The distance
重量推定部１２６は、複数の魚３０のそれぞれについて、実サイズ情報生成部１２２によって生成された実サイズ情報を用いて、重量を推定する。重量推定部１２６は、推定した重量を記憶部１１０に記憶させる。
The
例えば、重量推定部１２６は、実際に測定された魚３０の実サイズと重量とを対応付けた実サイズ重量対応データを用いる。重量推定部１２６は、実サイズ情報生成部１２２によって生成された実サイズ情報が示す実サイズを元に、実サイズ重量対応データを参照して、当該実サイズに対応する重量を、推定結果の重量とする。実サイズ重量対応データは、予めデータ取得部１１２が外部から取得して、記憶部１１０に記憶させておいてよい。
For example, the
例えば、重量推定部１２６は、実サイズ情報を入力とし、重量を出力とする重量学習モデルを用いる。重量推定部１２６は、実サイズ情報生成部１２２によって生成された実サイズ情報を、重量学習モデルに入力して、重量学習モデルから出力された重量を、推定結果の重量とする。重量学習モデルは、予めデータ取得部１１２が外部から取得して、記憶部１１０に記憶させておいてよい。重量学習モデルは、学習実行部１１８によって生成されてもよい。例えば、データ取得部１１２が、魚３０の実サイズと、魚３０の重量とを含むＧＴデータ（サイズ重量ＧＴデータと記載する場合がある）を取得し、学習実行部１１８が、複数のサイズ重量ＧＴデータを用いた機械学習を実行することによって、重量学習モデルを生成する。
For example, the
出力制御部１２８は、記憶部１１０に記憶されているデータを出力するよう制御する。出力制御部１２８は、例えば、情報処理システム１００が備えるディスプレイにデータを表示する。出力制御部１２８は、例えば、データを外部に送信出力する。
The
出力制御部１２８は、サイズ推定部１２０によって推定された画像サイズ情報を出力するよう制御してよい。出力制御部１２８は、実サイズ情報生成部１２２によって生成された実サイズ情報を出力するよう制御してよい。出力制御部１２８は、重量推定部１２６によって推定された重量を出力するよう制御してよい。
The
情報処理システム１００が１つの装置によって構成される場合、情報処理システム１００は、記憶部１１０、データ取得部１１２、シミュレーションデータ生成部１１４、ＧＴデータ生成部１１６、学習実行部１１８、サイズ推定部１２０、実サイズ情報生成部１２２、距離情報取得部１２４、重量推定部１２６、及び出力制御部１２８を備えてよい。情報処理システム１００が学習装置１０２及び推定装置１０４によって構成される場合、学習装置１０２が、記憶部１１０、データ取得部１１２、シミュレーションデータ生成部１１４、ＧＴデータ生成部１１６、及び学習実行部１１８を備えてよく、推定装置１０４が、記憶部１１０、サイズ推定部１２０、実サイズ情報生成部１２２、距離情報取得部１２４、重量推定部１２６、及び出力制御部１２８を備えてよい。記憶部１１０は、学習装置１０２及び推定装置１０４によって共有されてよい。学習装置１０２及び推定装置１０４のそれぞれが記憶部１１０を有してもよい。情報処理システム１００が３つ以上の装置によって構成される場合、記憶部１１０、データ取得部１１２、シミュレーションデータ生成部１１４、ＧＴデータ生成部１１６、学習実行部１１８、サイズ推定部１２０、実サイズ情報生成部１２２、距離情報取得部１２４、重量推定部１２６、及び出力制御部１２８が、３つ以上の装置に対して適切に分散配置されてよい。
When the
図３は、情報処理システム１００の一例を概略的に示す。図３に示す例において、情報処理システム１００は、ステレオカメラ２１０と通信可能である。ステレオカメラ２１０は、カメラ２００の一例であってよい。
FIG. 3 shows a schematic diagram of an example of an
図３に例示する情報処理システム１００において、実サイズ情報生成部１２２は、ステレオカメラ２１０によるステレオ視によって、ステレオカメラ２１０と一の魚３０との距離を特定してよい。なお、図３に例示する情報処理システム１００において、実サイズ情報生成部１２２は、ステレオカメラ２１０によるステレオ視によって、ステレオカメラ２１０と、対象の複数の魚３０のそれぞれとの距離を特定してもよい。この場合、実サイズ情報生成部１２２は、複数の魚３０をステレオカメラ２１０が撮像した魚撮像画像をサイズ推定部１２０が学習モデルに入力して取得した複数の魚３０の画像サイズ情報と、特定したステレオカメラ２１０と複数の魚３０のそれぞれとの距離から、複数の魚３０のそれぞれの実サイズ情報を生成してもよい。
In the
図４は、情報処理システム１００の一例を概略的に示す。図４に示す例においては、複数の魚３０のうちの少なくとも１匹に、タグ３２が付されている。タグ３２が付されている魚３０は、実空間における実サイズが既知である。
Figure 4 shows a schematic diagram of an example of an
図４に例示する情報処理システム１００において、実サイズ情報生成部１２２は、魚撮像画像に含まれる複数の魚３０のうち、タグ３２が付されており、実サイズが既知である一の魚３０を、タグ３２によって特定し、当該一の魚３０の実サイズに基づいて、カメラ２００と一の魚３０との距離を特定してよい。
In the
図５は、情報処理システム１００の一例を概略的に示す。図５に示す例においては、魚３０が遊泳している場所に物体３４が配置されている。物体３４は、実サイズが既知であって、カメラ２００からの距離が既知の位置に配置される。例えば、魚３０が生簀内を遊泳している場合、物体３４は生簀内に配置される。図５では、物体３４の形状が立方体であるが、物体３４の形状はこれに限らず、他の形状であってもよい。
Figure 5 shows a schematic diagram of an example of the
図５に例示する情報処理システム１００において、実サイズ情報生成部１２２は、複数の魚３０と物体３４とを含む魚撮像画像を、相対距離学習モデルに入力して、複数の魚３０及び物体３４のそれぞれ同士の相対距離を特定してよい。実サイズ情報生成部１２２は、物体３４の実サイズ及びカメラ２００との距離と、特定した相対距離とを用いて、複数の魚３０のそれぞれの実サイズ情報を生成してよい。
In the
図６は、情報処理システム１００の一例を概略的に示す。図６に示す例において、情報処理システム１００は、測距センサ３００と通信可能である。測距センサ３００は、魚３０に対して光を照射し、魚３０からの反射光を受光することによって、測距センサ３００と魚３０との距離を測定可能である。測距センサ３００は、カメラ２００に対応する位置に配置される。記憶部１１０は、測距センサ３００とカメラ２００との位置関係の情報を記憶する。
Figure 6 shows a schematic diagram of an example of an
図６に例示する情報処理システム１００において、距離情報取得部１２４は、測距センサ３００によって測定された、測距センサ３００と複数の魚３０のそれぞれとの距離を示す距離情報を取得してよい。実サイズ情報生成部１２２は、距離情報取得部１２４が取得した距離情報と、カメラ２００と測距センサ３００との位置関係とから、カメラ２００と複数の魚３０のそれぞれとの距離を算出してよい。実サイズ情報生成部１２２は、サイズ推定部１２０が複数の魚３０を含む魚撮像画像を学習モデルに入力して取得した複数の魚３０の画像サイズ情報と、カメラ２００と複数の魚３０のそれぞれとの距離とを用いて、複数の魚３０のそれぞれについて、実サイズ情報を生成してよい。
In the
図７は、情報処理システム１００、学習装置１０２、又は推定装置１０４として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
7 shows an example of a hardware configuration of a
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。
The
ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。
The
通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
The
ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。
プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
The programs are provided by a computer-readable storage medium such as a DVD-ROM or an IC card. The programs are read from the computer-readable storage medium, installed in
例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
For example, when communication is performed between
また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
The
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
Various types of information, such as various types of programs, data, tables, and databases, may be stored in the recording medium and may undergo information processing. The
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
The above-described programs or software modules may be stored in a computer-readable storage medium on the
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。 The blocks in the flowcharts and block diagrams in this embodiment may represent stages of a process in which an operation is performed or "parts" of a device responsible for performing the operation. Particular stages and "parts" may be implemented by dedicated circuitry, programmable circuitry provided with computer-readable instructions stored on a computer-readable storage medium, and/or a processor provided with computer-readable instructions stored on a computer-readable storage medium. The dedicated circuitry may include digital and/or analog hardware circuits and may include integrated circuits (ICs) and/or discrete circuits. The programmable circuitry may include reconfigurable hardware circuits including AND, OR, XOR, NAND, NOR, and other logical operations, flip-flops, registers, and memory elements, such as, for example, field programmable gate arrays (FPGAs) and programmable logic arrays (PLAs).
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、Ｂｌｕ－ｒａｙ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。 A computer-readable storage medium may include any tangible device capable of storing instructions that are executed by a suitable device, such that a computer-readable storage medium having instructions stored thereon comprises an article of manufacture that includes instructions that can be executed to create means for performing the operations specified in the flowchart or block diagram. Examples of computer-readable storage media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like. More specific examples of computer-readable storage media may include floppy disks, diskettes, hard disks, random access memories (RAMs), read-only memories (ROMs), erasable programmable read-only memories (EPROMs or flash memories), electrically erasable programmable read-only memories (EEPROMs), static random access memories (SRAMs), compact disk read-only memories (CD-ROMs), digital versatile disks (DVDs), Blu-ray disks, memory sticks, integrated circuit cards, and the like.
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。 The computer readable instructions may include either assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
コンピュータ可読命令は、コンピュータ等のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。ここで、コンピュータは、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、汎用コンピュータ、または特殊目的のコンピュータ等であってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このような複数のコンピュータが接続されたコンピュータシステムは分散コンピューティングシステムとも呼ばれ、広義のコンピュータである。分散コンピューティングシステムにおいては、複数のコンピュータのそれぞれがプログラムの一部ずつを実行し、必要に応じてコンピュータ間でプログラム実行中のデータを受け渡すことによって、複数のコンピュータが集合的に プログラムを実行する。 The computer-readable instructions may be provided to a general-purpose computer, a special-purpose computer, or a processor of another programmable data processing device, or a programmable circuit, either locally or via a wide area network (WAN) such as a local area network (LAN), the Internet, or the like, so that the processor of the programmable data processing device, or the programmable circuit, executes the computer-readable instructions to generate means for performing the operations specified in the flowchart or block diagram. Here, the computer may be a PC (personal computer), a tablet computer, a smartphone, a workstation, a server computer, a general-purpose computer, or a special-purpose computer, or may be a computer system in which multiple computers are connected. Such a computer system in which multiple computers are connected is also called a distributed computing system, and is a computer in the broad sense. In a distributed computing system, multiple computers collectively execute a program by each executing a part of the program and transferring data during program execution between the computers as necessary.
プロセッサの例としては、コンピュータプロセッサ、中央処理装置、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。コンピュータは、１つのプロセッサまたは複数のプロセッサを備えてよい。複数のプロセッサを備えるマルチプロセッサシステムにおいては、それぞれのプロセッサがプログラムの一部ずつを実行し、必要に応じてプロセッサ間でプログラム実行中のデータを受け渡すことによって、複数のプロセッサが集合的にプログラムを実行する。例えば、マルチタスクの実行において、複数のプロセッサのそれぞれは、タイムスライス毎にタスクスイッチすることにより各タスクの一部分ずつを細切れに実行してよい。この場合、各プロセッサが１つのプログラムのうちどの部分を実行するかは、動的に変化する。複数のプロセッサのそれぞれがプログラムのどの部分を実行するかは、マルチプロセッサを意識したプログラミングにより静的に定められてもよい。 Examples of processors include computer processors, central processing units, processing units, microprocessors, digital signal processors, controllers, microcontrollers, etc. A computer may have one processor or multiple processors. In a multiprocessor system with multiple processors, each processor executes a part of a program, and the multiple processors collectively execute a program by passing data between processors as necessary during program execution. For example, in multitasking, each of the multiple processors may execute a part of each task in small chunks by switching tasks every time slices. In this case, which part of a program each processor executes changes dynamically. Which part of a program each of the multiple processors executes may be statically determined by programming that is aware of the multiprocessor.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 The present invention has been described above using an embodiment, but the technical scope of the present invention is not limited to the scope described in the above embodiment. It is clear to those skilled in the art that various modifications and improvements can be made to the above embodiment. It is clear from the claims that forms incorporating such modifications or improvements can also be included in the technical scope of the present invention.
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process, such as operations, procedures, steps, and stages, in the devices, systems, programs, and methods shown in the claims, specifications, and drawings is not specifically stated as "before" or "prior to," and it should be noted that the processes may be performed in any order, unless the output of a previous process is used in a later process. Even if the operational flow in the claims, specifications, and drawings is explained using "first," "next," etc. for convenience, it does not mean that it is essential to perform the processes in that order.
２０ ネットワーク、３０ 魚、３２ タグ、１００ 情報処理システム、１０２ 学習装置、１０４ 推定装置、１１０ 記憶部、１１２ データ取得部、１１４ シミュレーションデータ生成部、１１６ ＧＴデータ生成部、１１８ 学習実行部、１２０ サイズ推定部、１２２ 実サイズ情報生成部、１２４ 距離情報取得部、１２６ 重量推定部、１２８ 出力制御部、２００ カメラ、２１０ ステレオカメラ、３００ 測距センサ、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ 20 network, 30 fish, 32 tag, 100 information processing system, 102 learning device, 104 estimation device, 110 memory unit, 112 data acquisition unit, 114 simulation data generation unit, 116 GT data generation unit, 118 learning execution unit, 120 size estimation unit, 122 real size information generation unit, 124 distance information acquisition unit, 126 weight estimation unit, 128 output control unit, 200 camera, 210 stereo camera, 300 distance measurement sensor, 1200 computer, 1210 host controller, 1212 CPU, 1214 RAM, 1216 graphic controller, 1218 display device, 1220 input/output controller, 1222 communication interface, 1224 storage device, 1230 ROM, 1240 input/output chip
Claims (12)
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、
複数の魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定部と、
前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記サイズ推定部が取得した前記複数の魚の画像サイズ情報とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、情報処理システム。 a GT data generating unit that generates size GT (Ground Truth) data including an image of a fish and image size information indicating a three-dimensional size of the fish in an image space, using simulation data obtained by simulating a fish;
A learning execution unit that executes machine learning using a plurality of the size GT data to generate a learning model in which an image of a fish is input and image size information indicating a three-dimensional size of the fish in an image space is output;
a size estimation unit that inputs a fish image of a plurality of fishes into the learning model generated by the learning execution unit, and acquires image size information of the plurality of fishes;
a real size information generating unit that identifies a distance between a camera that captured the fish image and one of the plurality of fish, identifies a relative distance between the plurality of fish, and generates real size information indicating a three-dimensional size in real space for each of the plurality of fish using the distance between the camera and the one fish, the relative distance between the plurality of fish, and image size information of the plurality of fish acquired by the size estimation unit;
a weight estimation unit that estimates a weight for each of the plurality of fish using the actual size information.
前記学習実行部は、前記複数のサイズＧＴデータと、複数の前記姿勢ＧＴデータとを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の姿勢を示す姿勢情報を出力とする姿勢学習モデルと、前記魚の画像と前記姿勢情報とを入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルとを含む前記学習モデルを生成し、
前記サイズ推定部は、前記魚撮像画像を、前記姿勢学習モデルに入力し、前記姿勢学習モデルから出力された前記姿勢情報と、前記魚撮像画像とを前記サイズ学習モデルに入力して、前記魚の前記画像サイズ情報を取得する、請求項１に記載の情報処理システム。 The GT data generation unit generates posture GT data including an image of a fish and posture information indicating a posture of the fish using simulation data obtained by simulating a fish,
The learning execution unit executes machine learning using the plurality of size GT data and the plurality of posture GT data to generate the learning models including a posture learning model that receives an image of a fish as an input and outputs posture information indicating the posture of the fish, and a size learning model that receives an image of the fish and the posture information as an input and outputs image size information indicating a three-dimensional size of the fish in an image space,
2. The information processing system according to claim 1, wherein the size estimation unit inputs the fish image into the posture learning model, and inputs the posture information output from the posture learning model and the fish image into the size learning model to obtain the image size information of the fish.
を備え、
前記実サイズ情報生成部は、前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚同士の前記相対距離を特定する、請求項１に記載の情報処理システム。 A storage unit that stores a relative distance learning model that receives an image including a plurality of fish as an input and outputs the relative distances between the plurality of fish,
The information processing system according to claim 1 , wherein the actual size information generating unit inputs the fish captured image into the relative distance learning model to identify the relative distances between the plurality of fish.
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成し、複数の前記距離ＧＴデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成する学習実行部と、
複数の魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定部と、
前記サイズ推定部が取得した前記複数の魚の画像サイズ情報と、前記魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、情報処理システム。 a GT data generation unit that uses simulation data obtained by simulating a fish to generate size GT (Ground Truth) data including an image of the fish and image size information indicating a three-dimensional size of the fish in an image space, and that uses the simulation data obtained by simulating the fish to generate distance GT data including an image of the fish captured by a virtual camera, a distance between the fish and the virtual camera, and parameters of the camera;
A learning execution unit that executes machine learning using a plurality of the size GT data to generate a learning model in which an image of a fish is input and image size information indicating the three-dimensional size of the fish in an image space is output, and that executes machine learning using a plurality of the distance GT data to generate a distance learning model in which an image of a fish and parameters of a camera that captured the image are input and the distance between the fish and the camera is output.
a size estimation unit that inputs a fish image of a plurality of fishes into the learning model generated by the learning execution unit, and acquires image size information of the plurality of fishes;
a real size information generating unit that generates real size information indicating a three-dimensional size in real space for each of the plurality of fishes based on image size information of the plurality of fishes acquired by the size estimation unit and the distances of each of the plurality of fishes from the camera output from the distance learning model by inputting the fish image and parameters of the camera that captured the fish image into the distance learning model;
a weight estimation unit that estimates a weight for each of the plurality of fish using the actual size information.
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、
複数の魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定部と、
前記複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得部と、
前記サイズ推定部が前記複数の魚を含む前記魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、前記距離情報取得部が取得した前記距離情報とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、情報処理システム。 a GT data generating unit that generates size GT (Ground Truth) data including an image of a fish and image size information indicating a three-dimensional size of the fish in an image space, using simulation data obtained by simulating a fish;
A learning execution unit that executes machine learning using a plurality of the size GT data to generate a learning model in which an image of a fish is input and image size information indicating a three-dimensional size of the fish in an image space is output;
a size estimation unit that inputs a fish image of a plurality of fishes into the learning model generated by the learning execution unit, and acquires image size information of the plurality of fishes;
a distance information acquisition unit that acquires distance information indicating a distance between the distance measuring sensor and each of the plurality of fishes, the distance information being measured by the distance measuring sensor irradiating light onto the plurality of fishes;
a real size information generating unit that generates real size information indicating a three-dimensional size in real space for each of the plurality of fishes, using image size information of the plurality of fishes acquired by the size estimation unit by inputting the fish image including the plurality of fishes into the learning model and the distance information acquired by the distance information acquiring unit;
a weight estimation unit that estimates a weight for each of the plurality of fish using the actual size information.
魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）データを生成するＧＴデータ生成段階と、
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行段階と、
複数の魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定段階と、
前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記サイズ推定段階において取得した前記複数の魚の画像サイズ情報とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成段階と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定段階と
を備える、情報処理方法。 1. A computer-implemented information processing method, comprising:
a GT data generation step of generating size GT (Ground Truth) data including an image of a fish and image size information indicating a three-dimensional size of the fish in an image space, using simulation data obtained by simulating a fish;
A learning execution stage in which machine learning is performed using a plurality of the size GT data to generate a learning model in which an image of a fish is input and image size information indicating the three-dimensional size of the fish in the image space is output;
a size estimation step of inputting fish images of a plurality of fishes to the learning model generated in the learning execution step to acquire image size information of the plurality of fishes;
a real size information generating step of determining a distance between a camera that captured the fish image and one of the plurality of fish, determining a relative distance between the plurality of fish, and generating real size information indicating a three-dimensional size in real space for each of the plurality of fish using the distance between the camera and the one fish, the relative distance between the plurality of fish, and image size information of the plurality of fish acquired in the size estimation step;
and a weight estimating step of estimating a weight for each of the plurality of fish using the actual size information.
魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）データを生成し、魚をシミュレーションしたシミュレーションデータを用いて、魚を仮想的なカメラで撮像した画像と、前記魚と前記仮想的なカメラとの距離と、前記カメラのパラメータとを含む距離ＧＴデータを生成するＧＴデータ生成段階と、
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成し、複数の前記距離ＧＴデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成する学習実行段階と、
複数の魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定段階と、
前記サイズ推定段階において取得した前記複数の魚の画像サイズ情報と、前記複数の魚を含む前記魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成段階と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定段階と
を備える、情報処理方法。 1. A computer-implemented information processing method, comprising:
a GT data generation step of generating size GT (Ground Truth) data including an image of a fish and image size information indicating a three-dimensional size of the fish in an image space using simulation data obtained by simulating a fish, and generating distance GT data including an image of the fish captured by a virtual camera, a distance between the fish and the virtual camera, and parameters of the camera using the simulation data obtained by simulating a fish;
A learning execution stage in which a learning model is generated by executing machine learning using a plurality of the size GT data, the learning model inputting an image of a fish and outputting image size information indicating the three-dimensional size of the fish in the image space, and a learning execution stage in which a learning model is generated by executing machine learning using a plurality of the distance GT data, the learning model inputting an image of a fish and parameters of a camera that captured the image, and outputting the distance between the fish and the camera;
a size estimation step of inputting fish images of a plurality of fishes to the learning model generated in the learning execution step to acquire image size information of the plurality of fishes;
a real size information generation step of generating real size information indicating a three-dimensional size in real space for each of the plurality of fishes based on image size information of the plurality of fishes acquired in the size estimation step, the fish image including the plurality of fishes and parameters of a camera that captured the fish image, which are input to the distance learning model, and the distance from the camera to each of the plurality of fishes output from the distance learning model;
and a weight estimating step of estimating a weight for each of the plurality of fish using the actual size information.
魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における３次元のサイズを示す画像サイズ情報とを含むサイズＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）データを生成するＧＴデータ生成段階と、
複数の前記サイズＧＴデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該３次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行段階と、
複数の魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定段階と
を備え、
前記複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得段階と、
前記サイズ推定段階において取得した前記複数の魚の画像サイズ情報と、前記距離情報取得段階において取得した前記距離情報とを用いて、前記複数の魚のそれぞれについて、実空間における３次元のサイズを示す実サイズ情報を生成する実サイズ情報生成段階と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定段階と
を更に備える、情報処理方法。 1. A computer-implemented information processing method, comprising:
a GT data generation step of generating size GT (Ground Truth) data including an image of a fish and image size information indicating a three-dimensional size of the fish in an image space, using simulation data obtained by simulating a fish;
A learning execution stage in which machine learning is performed using a plurality of the size GT data to generate a learning model in which an image of a fish is input and image size information indicating the three-dimensional size of the fish in the image space is output;
a size estimation step of inputting fish images of a plurality of fishes to the learning model generated in the learning execution step to acquire image size information of the plurality of fishes;
a distance information acquisition step of acquiring distance information indicating a distance between the distance measuring sensor and each of the plurality of fishes, the distance information being measured by the distance measuring sensor irradiating light onto the plurality of fishes;
a real size information generating step of generating real size information indicating a three-dimensional size in real space for each of the plurality of fishes, using the image size information of the plurality of fishes acquired in the size estimation step and the distance information acquired in the distance information acquiring step;
and a weight estimating step of estimating a weight for each of the plurality of fish using the actual size information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023199782A JP7510559B1 (en) | 2023-11-27 | 2023-11-27 | Information processing system, program, and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023199782A JP7510559B1 (en) | 2023-11-27 | 2023-11-27 | Information processing system, program, and information processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP7510559B1 true JP7510559B1 (en) | 2024-07-03 |
Family
ID=91671193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023199782A Active JP7510559B1 (en) | 2023-11-27 | 2023-11-27 | Information processing system, program, and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7510559B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019188506A1 (en) | 2018-03-26 | 2019-10-03 | 日本電気株式会社 | Information processing device, object measuring system, object measuring method, and program storing medium |
| WO2021193391A1 (en) | 2020-03-26 | 2021-09-30 | ソニーセミコンダクタソリューションズ株式会社 | Data generation method, learning method, and estimation method |
| WO2022209435A1 (en) | 2021-03-31 | 2022-10-06 | 古野電気株式会社 | Computer program, model generation method, estimation method and estimation device |
| JP2022178006A (en) | 2021-05-19 | 2022-12-02 | 国立大学法人福井大学 | Learning target expansion program, learning program, information processing apparatus, and learning target expansion method |
| JP7265672B2 (en) | 2020-09-28 | 2023-04-26 | ソフトバンク株式会社 | Information processing method, program and information processing device |
-
2023
- 2023-11-27 JP JP2023199782A patent/JP7510559B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019188506A1 (en) | 2018-03-26 | 2019-10-03 | 日本電気株式会社 | Information processing device, object measuring system, object measuring method, and program storing medium |
| WO2021193391A1 (en) | 2020-03-26 | 2021-09-30 | ソニーセミコンダクタソリューションズ株式会社 | Data generation method, learning method, and estimation method |
| JP7265672B2 (en) | 2020-09-28 | 2023-04-26 | ソフトバンク株式会社 | Information processing method, program and information processing device |
| WO2022209435A1 (en) | 2021-03-31 | 2022-10-06 | 古野電気株式会社 | Computer program, model generation method, estimation method and estimation device |
| JP2022178006A (en) | 2021-05-19 | 2022-12-02 | 国立大学法人福井大学 | Learning target expansion program, learning program, information processing apparatus, and learning target expansion method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10643364B1 (en) | Ground plane detection for placement of augmented reality objects | |
| US10235771B2 (en) | Methods and systems of performing object pose estimation | |
| US11710040B2 (en) | Generating synthetic models or virtual objects for training a deep learning network | |
| US11494987B2 (en) | Providing augmented reality in a web browser | |
| KR20160048901A (en) | System and method for determining the extent of a plane in an augmented reality environment | |
| US20210142579A1 (en) | Method of generating three-dimensional model data of object | |
| CN110163087B (en) | Face gesture recognition method and system | |
| JP2021524628A (en) | Lighting estimation | |
| KR20220160066A (en) | Image processing method and apparatus | |
| CN104350525A (en) | Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling | |
| CN110832542B (en) | Identification processing device, identification processing method, and program | |
| EP4049245B1 (en) | Augmented reality 3d reconstruction | |
| KR20190100305A (en) | Device and method for generating dynamic virtual contents in mixed reality | |
| US20230260216A1 (en) | Point cloud annotation device, method, and program | |
| TWI489319B (en) | Depth gradient based tracking | |
| CN109544516B (en) | Image detection method and device | |
| EP4073688A1 (en) | Target detection method, device, terminal device, and medium | |
| US9092909B2 (en) | Matching a system calculation scale to a physical object scale | |
| CN110517345A (en) | A kind of method and device of threedimensional model rendering | |
| JP7510559B1 (en) | Information processing system, program, and information processing method | |
| US20210056247A1 (en) | Pose detection of objects from image data | |
| CN112634439B (en) | 3D information display method and device | |
| CN112652056B (en) | 3D information display method and device | |
| JP2019219248A (en) | Point group processor, method for processing point group, and program | |
| US20230237690A1 (en) | Information processing device, generation method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7510559 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |