JP7510559B1 - Information processing system, program, and information processing method - Google Patents
Information processing system, program, and information processing method Download PDFInfo
- Publication number
- JP7510559B1 JP7510559B1 JP2023199782A JP2023199782A JP7510559B1 JP 7510559 B1 JP7510559 B1 JP 7510559B1 JP 2023199782 A JP2023199782 A JP 2023199782A JP 2023199782 A JP2023199782 A JP 2023199782A JP 7510559 B1 JP7510559 B1 JP 7510559B1
- Authority
- JP
- Japan
- Prior art keywords
- fish
- image
- size
- distance
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 80
- 238000003672 processing method Methods 0.000 title claims description 9
- 241000251468 Actinopterygii Species 0.000 claims abstract description 424
- 238000004088 simulation Methods 0.000 claims abstract description 38
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 59
- 230000015654 memory Effects 0.000 description 21
- 238000000034 method Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000009182 swimming Effects 0.000 description 8
- 101100456831 Caenorhabditis elegans sams-5 gene Proteins 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、当該魚の画像空間における3次元のサイズを示す画像サイズ情報とを含むサイズGTデータを生成するGTデータ生成部と、複数の前記サイズGTデータを用いた機械学習を実行することによって、魚の画像を入力とし、当該魚の画像空間における3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得するサイズ推定部とを備える、情報処理システムを提供する。【選択図】図1[Solution] An information processing system is provided that includes a GT data generation unit that uses simulation data obtained by simulating a fish to generate size GT data including an image of the fish and image size information indicating the three-dimensional size of the fish in image space, a learning execution unit that executes machine learning using a plurality of the size GT data to generate a learning model that takes an image of the fish as input and outputs image size information indicating the three-dimensional size of the fish in image space, and a size estimation unit that inputs a fish image obtained by capturing an image of the fish into the learning model generated by the learning execution unit to obtain the image size information of the fish. [Selected Figure] Figure 1
Description
本発明は、情報処理システム、プログラム、及び情報処理方法に関する。 The present invention relates to an information processing system, a program, and an information processing method.
特許文献1には、回遊中の魚を撮像した撮像画像から、魚の長さ及び高さの実サイズを算出する魚体サイズ算出装置について記載されている。
[先行技術文献]
[特許文献]
[特許文献1]特許第6694039号
Patent Document 1 describes a fish size calculation device that calculates the actual size of a fish, that is, the length and height of the fish, from an image captured of the migrating fish.
[Prior Art Literature]
[Patent Documents]
[Patent Document 1] Japanese Patent No. 6694039
本発明の一実施態様によれば、情報処理システムが提供される。前記情報処理システムは、GTデータ生成部を備えてよい。前記GTデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、当該魚の画像空間における3次元のサイズを示す画像サイズ情報とを含むサイズGTデータを生成してよい。前記情報処理システムは、学習実行部を備えてよい。前記学習実行部は、複数の前記サイズGTデータを用いた機械学習を実行することによって、魚の画像を入力とし、当該魚の画像空間における3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成してよい。前記情報処理システムは、サイズ推定部を備えてよい。前記サイズ推定部は、魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得してよい。 According to one embodiment of the present invention, an information processing system is provided. The information processing system may include a GT data generation unit. The GT data generation unit may use simulation data of a simulated fish to generate size GT data including an image of a fish and image size information indicating the three-dimensional size of the fish in an image space. The information processing system may include a learning execution unit. The learning execution unit may execute machine learning using a plurality of the size GT data to generate a learning model that inputs an image of a fish and outputs image size information indicating the three-dimensional size of the fish in an image space. The information processing system may include a size estimation unit. The size estimation unit may input a fish image of a fish into the learning model generated by the learning execution unit to obtain image size information of the fish.
前記情報処理システムにおいて、前記GTデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の姿勢を示す姿勢情報とを含む姿勢GTデータを生成してよく、前記学習実行部は、前記複数のサイズGTデータと、複数の前記姿勢GTデータとを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の姿勢を示す姿勢情報を出力とする姿勢学習モデルと、前記魚の画像と前記姿勢情報とを入力とし、前記魚の画像空間における3次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルとを含む前記学習モデルを生成してよく、前記サイズ推定部は、前記魚撮像画像を、前記姿勢学習モデルに入力し、前記姿勢学習モデルから出力された前記姿勢情報と、前記魚撮像画像とを前記サイズ学習モデルに入力して、前記魚の前記画像サイズ情報を取得してよい。 In the information processing system, the GT data generation unit may use simulation data that simulates a fish to generate posture GT data including an image of the fish and posture information indicating the posture of the fish, and the learning execution unit may execute machine learning using the multiple size GT data and the multiple posture GT data to generate the learning model including a posture learning model that receives an image of the fish as an input and outputs posture information indicating the posture of the fish, and a size learning model that receives an image of the fish and the posture information as an input and outputs image size information indicating the three-dimensional size of the fish in image space, and the size estimation unit may input the fish image to the posture learning model and input the posture information output from the posture learning model and the fish image to the size learning model to obtain the image size information of the fish.
前記いずれかの情報処理システムは、前記サイズ推定部が複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報を用いて、前記複数の魚のそれぞれについて、実空間における3次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部とを備えてよい。前記情報処理システムは、複数の魚を含む画像を入力とし、前記複数の魚同士の相対距離を出力とする相対距離学習モデルを記憶する記憶部を備えてよく、前記実サイズ情報生成部は、前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記複数の魚30の画像サイズ情報とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成してよい。前記実サイズ情報生成部は、ステレオ視によって前記カメラと前記一の魚との距離を特定してよい。前記実サイズ情報生成部は、前記魚撮像画像に含まれる複数の魚のうち、タグが付されており、実空間における実サイズが既知である前記一の魚を、前記タグによって特定し、前記一の魚の前記実サイズに基づいて、前記カメラと前記一の魚との距離を特定してよい。前記実サイズ情報生成部は、実空間における実サイズと前記カメラとの距離とが既知の物体を含む前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚及び前記物体のそれぞれ同士の相対距離を特定し、前記物体の前記実サイズ及び前記カメラとの前記距離と、前記相対距離とを用いて、前記複数の魚のそれぞれの前記実サイズ情報を生成してよい。
Any of the information processing systems may include a real size information generating unit that generates real size information indicating a three-dimensional size in real space for each of the multiple fishes using image size information of the multiple fishes acquired by inputting a fish image including the multiple fishes into the learning model by the size estimation unit, and a weight estimating unit that estimates weight for each of the multiple fishes using the real size information. The information processing system may include a storage unit that stores a relative distance learning model in which an image including the multiple fishes is input and the relative distance between the multiple fishes is output, and the real size information generating unit may identify the distance between a camera that captured the fish image and one of the multiple fishes, input the fish image into the relative distance learning model to identify the relative distance between the multiple fishes, and generate the real size information for each of the multiple fishes using the distance between the camera and the one fish, the relative distance between the multiple fishes, and image size information of the
前記いずれかの情報処理システムにおいて、前記GTデータ生成部は、魚をシミュレーションしたシミュレーションデータを用いて、魚を仮想的なカメラで撮像した画像と、前記魚と前記仮想的なカメラとの距離と、前記カメラのパラメータとを含む距離GTデータを生成してよく、前記学習実行部は、複数の前記距離GTデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成してよい。前記情報処理システムは、前記サイズ推定部が複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、当該魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における3次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部とを備えてよい。 In any of the information processing systems, the GT data generation unit may use simulation data of a fish to generate distance GT data including an image of the fish captured by a virtual camera, a distance between the fish and the virtual camera, and parameters of the camera, and the learning execution unit may execute machine learning using the distance GT data to generate a distance learning model that inputs an image of the fish and parameters of the camera that captured the image and outputs the distance between the fish and the camera. The information processing system may include a real size information generation unit that generates real size information indicating a three-dimensional size in real space for each of the multiple fishes based on image size information of the multiple fishes obtained by inputting a fish image containing the multiple fishes into the learning model and the distances from the camera of each of the multiple fishes output from the distance learning model by inputting the fish image and parameters of the camera that captured the fish image into the distance learning model, and a weight estimation unit that estimates weight for each of the multiple fishes using the real size information.
前記いずれかの情報処理システムは、複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得部と、前記サイズ推定部が前記複数の魚を含む魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、前記距離測定部によって測定された前記複数の魚のそれぞれとの距離とを用いて、前記複数の魚のそれぞれについて、実空間における3次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部を備えてよい。 Any of the information processing systems may include a distance information acquisition unit that acquires distance information indicating the distance between the distance measuring sensor and each of the multiple fishes, measured by the distance measuring sensor shining light onto the multiple fishes; a real size information generation unit that generates real size information indicating the three-dimensional size in real space for each of the multiple fishes, using image size information of the multiple fishes acquired by the size estimation unit by inputting a fish image containing the multiple fishes into the learning model and the distances to each of the multiple fishes measured by the distance measurement unit; and a weight estimation unit that estimates the weight of each of the multiple fishes using the real size information.
本発明の一実施態様によれば、コンピュータを、前記情報処理システムとして機能させるためのプログラムが提供される。 According to one embodiment of the present invention, a program is provided for causing a computer to function as the information processing system.
本発明の一実施態様によれば、コンピュータによって実行される情報処理方法が提供される。前記情報処理方法は、魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における3次元のサイズを示す画像サイズ情報とを含むサイズGTデータを生成するGTデータ生成段階を備えてよい。前記情報処理方法は、複数の前記サイズGTデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行段階を備えてよい。前記情報処理方法は、魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記魚の画像サイズ情報を取得するサイズ推定段階を備えてよい。 According to one embodiment of the present invention, there is provided an information processing method executed by a computer. The information processing method may include a GT data generation step of generating size GT data including an image of a fish and image size information indicating the three-dimensional size of the fish in an image space by using simulation data obtained by simulating a fish. The information processing method may include a learning execution step of generating a learning model in which an image of a fish is input and image size information indicating the three-dimensional size of the fish in an image space is output by executing machine learning using a plurality of the size GT data. The information processing method may include a size estimation step of inputting a fish image obtained by capturing an image of a fish into the learning model generated in the learning execution step to obtain image size information of the fish.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 Note that the above summary of the invention does not list all of the necessary features of the present invention. Also, subcombinations of these features may also be inventions.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 The present invention will be described below through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Furthermore, not all of the combinations of features described in the embodiments are necessarily essential to the solution of the invention.
従来、魚のサイズ推定を行い、重さの推定を行っている。しかし、従来の魚のサイズ推定では、長さ又は尾叉長と高さのみであり、そのため、精度が低い。その理由は、魚種によっては、成長とともに、長くなっていくものもあれば、ある程度の長さまで育つと体幅(厚み)が育っていくものがある。体幅が体重推定に非常に重要となっている。しかしながら、3次元のサイズ推定は非常に難しい。特に水中ではLiDAR(Light Detection And Ranging)のようなデプスセンサが有効ではない。本実施形態に係る情報処理システム100では、水中でのサイズ推定をシミュレーションベースで行い、体重推定のGround Truthに実際の体側データを用い、カメラビジョンから体重推定を精度高く行う。
Conventionally, fish size is estimated and weight is estimated. However, conventional fish size estimation only uses length or fork length and height, and therefore the accuracy is low. The reason is that some fish species grow longer as they grow, while others grow wider (thicker) when they reach a certain length. Body width is very important for weight estimation. However, 3D size estimation is very difficult. Depth sensors such as LiDAR (Light Detection and Ranging) are not effective especially underwater. In the
図1は、情報処理システム100の一例を概略的に示す。情報処理システム100は、学習装置102、及び推定装置104によって構成されてよい。なお、情報処理システム100が、学習装置102及び推定装置104によって構成されるのは一例であって、これに限られない。
FIG. 1 shows an example of an
情報処理システム100は、図1に例示するように2つの装置によって構成されてよく、1つの装置によって構成されてもよい。また、情報処理システム100は、3つ以上の装置によって構成されてもよい。
The
例えば、情報処理システム100が、学習装置102及び推定装置104のうち、学習装置102のみを備え、推定装置104は、情報処理システム100の外部の装置であってよい。情報処理システム100が、学習装置102及び推定装置104のうち、推定装置104のみを備え、学習装置102は、情報処理システム100の外部の装置であってもよい。
For example, the
情報処理システム100は、ネットワーク20を介してカメラ200と通信してよい。ネットワーク20は、インターネットを含んでよい。ネットワーク20は、LAN(Local Area Network)を含んでよい。ネットワーク20は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、LTE(Long Term Evolution)通信方式、5G(5th Generation)通信方式、3G(3rd Generation)通信方式、及び6G(6th Generation)通信方式以降の通信方式のいずれに準拠していてもよい。
The
情報処理システム100は、ネットワーク20に有線接続されてよい。情報処理システム100は、ネットワーク20に無線接続されてもよい。情報処理システム100は、無線基地局を介してネットワーク20に接続されてよい。情報処理システム100は、Wi-Fi(登録商標)アクセスポイントを介してネットワーク20に接続されてよい。
The
学習装置102は、ネットワーク20に有線接続されてよい。学習装置102は、ネットワーク20に無線接続されてもよい。学習装置102は、無線基地局を介してネットワーク20に接続されてよい。学習装置102は、Wi-Fiアクセスポイントを介してネットワーク20に接続されてよい。
The
推定装置104は、ネットワーク20に有線接続されてよい。推定装置104は、ネットワーク20に無線接続されてもよい。推定装置104は、無線基地局を介してネットワーク20に接続されてよい。推定装置104は、Wi-Fiアクセスポイントを介してネットワーク20に接続されてよい。
The
カメラ200は、魚30を撮像可能な任意の場所に設置される。カメラ200は、例えば、サイズや体重を推定する対象である、生簀等を遊泳している複数の魚30を撮像する。カメラ200は、ネットワーク20に有線接続されてよい。カメラ200は、ネットワーク20に無線接続されてよい。カメラ200は、無線基地局を介してネットワーク20に接続されてよい。カメラ200は、Wi-Fiアクセスポイントを介してネットワーク20に接続されてよい。推定装置104とカメラ200とが直接接続されてもよい。推定装置104が、カメラ200を内蔵してもよい。推定装置104がカメラ200を内蔵する場合、推定装置104が、魚30を撮像可能な任意の場所に設置されてよい。
The
情報処理システム100は、魚30を撮像した撮像画像から、魚30の画像空間における3次元のサイズを推定する。魚30の3次元のサイズとは、魚30の長さ、高さ、及び体幅であってよい。情報処理システム100は、推定した魚30の画像空間における3次元のサイズから、魚30の実空間における3次元のサイズを推定する。情報処理システム100は、推定した魚30の実空間における3次元のサイズを用いて、魚30の重量を推定する。
The
学習装置102は、魚30を撮像した撮像画像から魚30の画像空間における3次元のサイズを推定するための学習を実行してよい。このような学習を実行するためには、魚30の画像と当該魚30のサイズとを含むGTデータが大量に必要となるが、このようなGTデータを大量に準備することは容易ではない。
The
そこで、本実施形態に係る学習装置102は、魚30をシミュレーションしたシミュレーションデータを用いて、魚30の画像と、魚30の画像空間における3次元のサイズを示すサイズ情報(画像サイズ情報と記載する場合がある)とを含むGTデータ(サイズGTデータと記載する場合がある)を大量に自動生成してよい。学習装置102は、生成した大量のサイズGTデータを用いた機械学習を実行することによって、魚30の画像を入力とし、魚30の画像空間における3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成してよい。当該学習モデルは、1匹の魚30が含まれる画像が入力された場合、当該1匹の魚30の画像サイズ情報を出力し、複数の魚30が含まれる画像が入力された場合、当該複数の魚30のそれぞれの画像サイズ情報を出力することができる。例えば、学習装置102は、大量のサイズGTデータを用いたディープラーニングを実行することによって、魚30の画像を入力とし、魚30の画像空間における3次元のサイズを示す画像サイズ情報を出力とするニューラルネットワーク(サイズニューラルネットワークと記載する場合がある)を生成する。学習に用いるディープネットワークとして、既存の3Dオブジェクト検出用のネットワークを用いてもよい。
Therefore, the
学習装置102は、魚30の画像から魚30の姿勢推定(Pose推定と呼ばれる場合もある)を行うための学習を行ってもよい。例えば、学習装置102は、魚30をシミュレーションしたシミュレーションデータを用いて、魚30の画像と、魚30の姿勢を示す姿勢情報とを含むGTデータ(姿勢GTデータと記載する場合がある)を大量に自動生成してよい。学習装置102は、生成した大量の姿勢GTデータを用いた機械学習を実行することによって、魚30の画像を入力とし、魚30の姿勢を示す姿勢情報を出力とする学習モデル(姿勢学習モデルと記載する場合がある)を生成してよい。例えば、学習装置102は、魚30の画像を入力とし、魚30の姿勢情報を出力とするニューラルネットワーク(姿勢ニューラルネットワークと記載する場合がある)を生成する。学習装置102は、既存の人間の姿勢推定用のニューラルネットワークに対して転移学習を行うことによって、魚用の姿勢ニューラルネットワークを生成してもよい。
The
そして、学習装置102は、魚30の画像と魚30の姿勢情報とを入力とし、魚30の画像空間における3次元のサイズを示す画像サイズ情報を出力とする学習モデル(サイズ学習モデルと記載する場合がある)を生成してよい。このように、学習装置102は、複数のサイズGTデータと、複数の姿勢GTデータとを用いた機械学習を実行することによって、姿勢学習モデルとサイズ学習モデルを含む学習モデル(混合学習モデルと記載する場合がある)を生成してよい。学習装置102は、姿勢ニューラルネットワークと、サイズニューラルネットワークとのFusedネットワークを生成してよい。
The
推定装置104は、学習装置102が生成した学習モデルを、学習装置102から受信してよい。推定装置104は、学習装置102から、姿勢学習モデル及びサイズ学習モデルを受信してよい。推定装置104は、学習装置102から、混合学習モデルを受信してよい。
The
推定装置104は、学習装置102が生成した学習モデルを用いて、魚30の撮像画像から、魚30の画像空間における3次元のサイズを推定してよい。例えば、推定装置104は、複数の魚30を撮像した魚撮像画像をカメラ200から受信して、当該魚撮像画像を、魚30の画像を入力とし、魚30の画像サイズ情報を出力とする学習モデルに入力して、学習モデルから出力された魚30の画像サイズ情報を取得してよい。
The
推定装置104は、魚撮像画像を、姿勢学習モデルに入力し、姿勢学習モデルから出力された魚30の姿勢情報と、魚撮像画像とをサイズ学習モデルに入力して、サイズ学習モデルから出力された魚30の画像サイズ情報を取得してよい。推定装置104は、魚撮像画像を、混合学習モデルに入力して、混合学習モデルから出力された魚30の画像サイズ情報を取得してよい。
The
推定装置104は、魚30の画像サイズ情報を用いて、魚30の実空間における3次元のサイズを示す実サイズ情報を生成してよい。推定装置104は、魚30の実サイズ情報を用いて、魚30の重量を推定してよい。
The
図2は、情報処理システム100の機能構成の一例を概略的に示す。情報処理システム100は、記憶部110、データ取得部112、シミュレーションデータ生成部114、GTデータ生成部116、学習実行部118、サイズ推定部120、実サイズ情報生成部122、距離情報取得部124、重量推定部126、及び出力制御部128を備える。情報処理システム100がこれらの全てを備えることは必須とは限らない。
Figure 2 shows an example of a schematic functional configuration of the
データ取得部112は、各種データを取得する。データ取得部112は、取得したデータを記憶部110に記憶させる。
The
データ取得部112は、例えば、学習に用いるデータを取得する。データ取得部112は、例えば、魚30をシミュレーションしたシミュレーションデータを取得する。データ取得部112は、遊泳している魚30をシミュレーションしてシミュレーションデータを取得してよい。データ取得部112は、静止している魚30をシミュレーションしたシミュレーションデータを取得してもよい。データ取得部112は、外部の装置によって生成されたシミュレーションデータを外部から受信してよい。
The
データ取得部112は、例えば、サイズや重量を推定する対象の魚30のデータを取得する。データ取得部112は、対象の魚30をカメラ200が撮像した魚撮像画像を、カメラ200から受信する。データ取得部112は、対象となる、遊泳している魚30をカメラ200が撮像した魚撮像画像を、カメラ200から受信してよい。データ取得部112は、対象となる、静止している魚30をカメラ200が撮像した魚撮像画像を、カメラ200から受信してもよい。
The
シミュレーションデータ生成部114は、魚30をシミュレーションしたシミュレーションデータを生成する。シミュレーションデータ生成部114は、遊泳している魚30をシミュレーションしたシミュレーションデータを生成してよい。シミュレーションデータ生成部114は、静止している魚30をシミュレーションしたシミュレーションデータを生成してよい。
The simulation
シミュレーションデータは、様々な種類の様々なサイズの魚30をシミュレーションしたデータであってよい。
The simulation data may be
GTデータ生成部116は、GTデータを生成する。GTデータ生成部116は、生成したGTデータを記憶部110に記憶させる。
The GT
例えば、GTデータ生成部116は、シミュレーションデータを用いて、魚30の画像と、魚30の画像空間における3次元のサイズを示す画像サイズ情報とを含むサイズGTデータを生成する。GTデータ生成部116は、遊泳している魚30の画像と、魚30の画像空間における3次元のサイズを示す画像サイズ情報とを含むサイズGTデータを生成してよい。GTデータ生成部116は、静止している魚30の画像と、魚30の画像空間における3次元のサイズを示す画像サイズ情報とを含むサイズGTデータを生成してよい。GTデータ生成部116は、様々な種類の様々なサイズの魚30を対象とした、複数のサイズGTデータを生成する。
For example, the GT
例えば、GTデータ生成部116は、シミュレーションデータを用いて、魚30の画像と、魚30の姿勢を示す姿勢情報とを含む姿勢GTデータを生成する。GTデータ生成部116は、様々な種類の様々なサイズの魚30の様々な姿勢を対象とした、複数の姿勢GTデータを生成する。
For example, the GT
学習実行部118は、魚30を撮像した撮像画像から魚30の画像空間における3次元のサイズを推定するための学習を実行する。学習実行部118は、GTデータ生成部116によって生成された複数のサイズGTデータを用いた機械学習を実行することによって、魚30の画像を入力とし、魚30の画像空間における3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成してよい。当該学習モデルは、1匹の魚30が含まれる画像が入力された場合、当該1匹の魚30の画像サイズ情報を出力し、複数の魚30が含まれる画像が入力された場合、当該複数の魚30のそれぞれの画像サイズ情報を出力することができる。学習実行部118は、複数のサイズGTデータを用いたディープラーニングを実行することによって、魚30の画像を入力とし、魚30の画像空間における3次元のサイズを示す画像サイズ情報を出力とするサイズニューラルネットワークを生成してよい。学習実行部118は、例えば、既存の3Dオブジェクト検出用のネットワークを用いたディープラーニングを実行してよい。
The learning
学習実行部118は、魚30の画像から魚30の姿勢推定を行うための学習を行ってよい。学習実行部118は、GTデータ生成部116によって生成された複数の姿勢GTデータを用いた機械学習を実行することによって、魚30の画像を入力とし、魚30の姿勢を示す姿勢情報を出力とする姿勢学習モデルを生成してよい。姿勢学習モデルは、1匹の魚30が含まれる画像が入力された場合、当該1匹の魚30の姿勢情報を出力し、複数の魚30が含まれる画像が入力された場合、当該複数の魚30のそれぞれの姿勢情報を出力することができる。学習実行部118は、複数の姿勢GTデータを用いたディープラーニングを実行することによって、魚30の画像を入力とし、魚30の姿勢情報を出力とする姿勢ニューラルネットワークを生成してよい。学習実行部118は、既存の人間の姿勢推定用のニューラルネットワークに対して転移学習を行うことによって、魚用の姿勢ニューラルネットワークを生成してもよい。
The learning
学習実行部118は、魚30の画像と魚30の姿勢情報とを入力とし、魚30の画像空間における3次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルを生成してよい。このように、学習実行部118は、複数のサイズGTデータと、複数の姿勢GTデータとを用いた機械学習を実行することによって、姿勢学習モデルとサイズ学習モデルを含む混合学習モデルを生成してよい。例えば、学習実行部118は、姿勢ニューラルネットワークと、サイズニューラルネットワークとを混合したFusedネットワークを生成する。
The learning
サイズ推定部120は、データ取得部112が取得した、魚30を撮像した魚撮像画像を用いて、魚撮像画像に含まれる魚30の画像空間における3次元のサイズを推定する。サイズ推定部120は、魚撮像画像を、学習実行部118によって生成された学習モデルに入力して、学習モデルから出力された画像サイズ情報を取得してよい。サイズ推定部120は、取得した画像サイズ情報を記憶部110に記憶させる。GTデータ生成部116は、サイズGTデータを大量に自動生成することができ、大量のサイズGTデータを用いて生成された学習モデルは、高い精度で魚30のサイズを推定することができる。このため、サイズ推定部120は、高い精度で魚30の画像空間における3次元のサイズを推定することができる。
The
サイズ推定部120は、魚撮像画像を、学習実行部118によって生成された姿勢学習モデルに入力し、姿勢学習モデルから出力された姿勢情報と、魚撮像画像とを、学習実行部118によって生成されたサイズ学習モデルに入力して、魚30の画像サイズ情報を取得してもよい。また、サイズ推定部120は、魚撮像画像を、学習実行部118によって生成された混合学習モデルに入力し、混合学習モデルから出力された魚30の画像サイズ情報を取得してもよい。例えば、遊泳している魚30を撮像した画像における魚30は、カメラ200に対して様々な姿勢を取り得る。例えば、魚30の側面がカメラ200に向いている場合は、魚30のサイズを比較的推定しやすいが、魚30の正面や背面がカメラ200に向いていたり、魚30の体が曲がっている状態で撮像されたりした場合、魚30のサイズを推定することが比較的難しくなる。それに対して、魚30の姿勢を推定することによって、魚30の側面がカメラ200に向いている状態に変換する知識を学習モデルに与えることができ、サイズ推定の精度を向上させることができる。
The
実サイズ情報生成部122は、サイズ推定部120が複数の魚30を含む魚撮像画像を学習モデルに入力した取得した複数の魚30の画像サイズ情報を用いて、複数の魚30のそれぞれについて、実世界における3次元のサイズを示す実サイズ情報を生成する。実サイズ情報生成部122は、生成した実サイズ情報を記憶部110に記憶させる。
The real size
例えば、実サイズ情報生成部122は、複数の魚30のうちの一の魚30と、魚撮像画像を撮像したカメラ200との距離を特定する。実サイズ情報生成部122は、複数の魚30を含む画像を入力とし、複数の魚30同士の相対距離を出力とする相対距離学習モデルに、魚撮像画像を入力して、複数の魚30同士の相対距離を特定する。実サイズ情報生成部122は、特定したカメラ200と一の魚30との距離と、特定した複数の魚30同士の相対距離と、複数の魚30の画像サイズ情報とを用いて、複数の魚30のそれぞれの実サイズ情報を生成する。具体例として、実サイズ情報生成部122は、カメラ200と一の魚30との距離と、複数の魚30同士の相対距離とを用いて、カメラ200と複数の魚30のそれぞれとの距離を算出する。実サイズ情報生成部122は、カメラ200と複数の魚30のそれぞれとの距離と、複数の魚30の画像サイズ情報とを用いて、複数の魚30の実サイズ情報を生成する。
For example, the real size
相対距離学習モデルは、予めデータ取得部112が外部から取得して、記憶部110に記憶させてよい。相対距離学習モデルは、複数の魚30を含む画像と、複数の魚30を撮像したカメラとの距離とを含むGTデータを用いた機械学習を実行することによって生成可能である。画像に含まれる魚30は、カメラとの距離によって明度等が異なるので、機械学習によって、画像から複数の魚30同士の相対距離を推定する学習モデルを生成することが可能である。相対距離学習モデルは、学習実行部118によって生成されてもよい。例えば、GTデータ生成部116が、シミュレーションデータを用いて、複数の魚30を含む画像と、仮想的なカメラとの距離を含むGTデータを複数生成する。学習実行部118は、GTデータ生成部116によって生成された複数のGTデータを用いた機械学習を実行することによって、相対距離学習モデルを生成する。
The relative distance learning model may be acquired in advance by the
実サイズ情報生成部122は、例えば、ステレオ視によってカメラ200と一の魚30との距離を特定する。実サイズ情報生成部122は、魚撮像画像に含まれる複数の魚30のうち、タグが付されており、実空間における実サイズが既知である一の魚30を、タグによって特定し、一の魚30の実サイズに基づいて、カメラ200と一の魚30との距離を特定してもよい。実サイズ情報生成部122は、実空間における実サイズとカメラ200との距離とが既知の物体を含む魚撮像画像を相対距離学習モデルに入力して、複数の魚及び物体のそれぞれ同士の相対距離を特定し、物体の実サイズ及びカメラ200との距離と、当該相対距離とを用いて、複数の魚30のそれぞれの実サイズ情報を生成してもよい。
The real size
情報処理システム100は、カメラパラメータを含む学習を実行することによって、複数の魚30を含む魚撮像画像から、複数の魚30の実サイズ情報を生成するようにしてもよい。情報処理システム100が使用するカメラパラメータの例として、レンズの焦点距離、レンズの歪、明度、及び射影等が挙げられるが、これらに限られない。例えば、GTデータ生成部116が、シミュレーションデータ生成部114によって生成されたシミュレーションデータを用いて、魚30を仮想的なカメラで撮像した画像と、魚30と仮想的なカメラとの距離と、カメラのパラメータとを含むGTデータ(距離GTデータと記載する場合がある)を生成する。学習実行部118が、複数の距離GTデータを用いた機械学習を実行することによって、魚30の画像及び当該画像を撮像したカメラのパラメータを入力とし、魚30とカメラとの距離を出力とする学習モデル(距離学習モデルと記載する場合がある)を生成する。そして、実サイズ情報生成部122が、サイズ推定部120が複数の魚30を含む魚撮像画像を学習モデルに入力して取得した複数の魚30の画像サイズ情報と、当該魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを距離学習モデルに入力して距離学習モデルから出力された複数の魚30のそれぞれのカメラからの距離と、に基づいて、複数の魚30のそれぞれについて実サイズ情報を生成する。
The
距離情報取得部124は、複数の魚30に対して測距センサが光を照射することによって測定した、測距センサと複数の魚30のそれぞれとの距離を示す距離情報を取得する。実サイズ情報生成部122は、サイズ推定部120が複数の魚30を含む魚撮像画像を学習モデルに入力して取得した複数の魚30の画像サイズ情報と、距離情報取得部124が取得した距離情報とを用いて、複数の魚30のそれぞれについて実サイズ情報を生成してもよい。
The distance
重量推定部126は、複数の魚30のそれぞれについて、実サイズ情報生成部122によって生成された実サイズ情報を用いて、重量を推定する。重量推定部126は、推定した重量を記憶部110に記憶させる。
The
例えば、重量推定部126は、実際に測定された魚30の実サイズと重量とを対応付けた実サイズ重量対応データを用いる。重量推定部126は、実サイズ情報生成部122によって生成された実サイズ情報が示す実サイズを元に、実サイズ重量対応データを参照して、当該実サイズに対応する重量を、推定結果の重量とする。実サイズ重量対応データは、予めデータ取得部112が外部から取得して、記憶部110に記憶させておいてよい。
For example, the
例えば、重量推定部126は、実サイズ情報を入力とし、重量を出力とする重量学習モデルを用いる。重量推定部126は、実サイズ情報生成部122によって生成された実サイズ情報を、重量学習モデルに入力して、重量学習モデルから出力された重量を、推定結果の重量とする。重量学習モデルは、予めデータ取得部112が外部から取得して、記憶部110に記憶させておいてよい。重量学習モデルは、学習実行部118によって生成されてもよい。例えば、データ取得部112が、魚30の実サイズと、魚30の重量とを含むGTデータ(サイズ重量GTデータと記載する場合がある)を取得し、学習実行部118が、複数のサイズ重量GTデータを用いた機械学習を実行することによって、重量学習モデルを生成する。
For example, the
出力制御部128は、記憶部110に記憶されているデータを出力するよう制御する。出力制御部128は、例えば、情報処理システム100が備えるディスプレイにデータを表示する。出力制御部128は、例えば、データを外部に送信出力する。
The
出力制御部128は、サイズ推定部120によって推定された画像サイズ情報を出力するよう制御してよい。出力制御部128は、実サイズ情報生成部122によって生成された実サイズ情報を出力するよう制御してよい。出力制御部128は、重量推定部126によって推定された重量を出力するよう制御してよい。
The
情報処理システム100が1つの装置によって構成される場合、情報処理システム100は、記憶部110、データ取得部112、シミュレーションデータ生成部114、GTデータ生成部116、学習実行部118、サイズ推定部120、実サイズ情報生成部122、距離情報取得部124、重量推定部126、及び出力制御部128を備えてよい。情報処理システム100が学習装置102及び推定装置104によって構成される場合、学習装置102が、記憶部110、データ取得部112、シミュレーションデータ生成部114、GTデータ生成部116、及び学習実行部118を備えてよく、推定装置104が、記憶部110、サイズ推定部120、実サイズ情報生成部122、距離情報取得部124、重量推定部126、及び出力制御部128を備えてよい。記憶部110は、学習装置102及び推定装置104によって共有されてよい。学習装置102及び推定装置104のそれぞれが記憶部110を有してもよい。情報処理システム100が3つ以上の装置によって構成される場合、記憶部110、データ取得部112、シミュレーションデータ生成部114、GTデータ生成部116、学習実行部118、サイズ推定部120、実サイズ情報生成部122、距離情報取得部124、重量推定部126、及び出力制御部128が、3つ以上の装置に対して適切に分散配置されてよい。
When the
図3は、情報処理システム100の一例を概略的に示す。図3に示す例において、情報処理システム100は、ステレオカメラ210と通信可能である。ステレオカメラ210は、カメラ200の一例であってよい。
FIG. 3 shows a schematic diagram of an example of an
図3に例示する情報処理システム100において、実サイズ情報生成部122は、ステレオカメラ210によるステレオ視によって、ステレオカメラ210と一の魚30との距離を特定してよい。なお、図3に例示する情報処理システム100において、実サイズ情報生成部122は、ステレオカメラ210によるステレオ視によって、ステレオカメラ210と、対象の複数の魚30のそれぞれとの距離を特定してもよい。この場合、実サイズ情報生成部122は、複数の魚30をステレオカメラ210が撮像した魚撮像画像をサイズ推定部120が学習モデルに入力して取得した複数の魚30の画像サイズ情報と、特定したステレオカメラ210と複数の魚30のそれぞれとの距離から、複数の魚30のそれぞれの実サイズ情報を生成してもよい。
In the
図4は、情報処理システム100の一例を概略的に示す。図4に示す例においては、複数の魚30のうちの少なくとも1匹に、タグ32が付されている。タグ32が付されている魚30は、実空間における実サイズが既知である。
Figure 4 shows a schematic diagram of an example of an
図4に例示する情報処理システム100において、実サイズ情報生成部122は、魚撮像画像に含まれる複数の魚30のうち、タグ32が付されており、実サイズが既知である一の魚30を、タグ32によって特定し、当該一の魚30の実サイズに基づいて、カメラ200と一の魚30との距離を特定してよい。
In the
図5は、情報処理システム100の一例を概略的に示す。図5に示す例においては、魚30が遊泳している場所に物体34が配置されている。物体34は、実サイズが既知であって、カメラ200からの距離が既知の位置に配置される。例えば、魚30が生簀内を遊泳している場合、物体34は生簀内に配置される。図5では、物体34の形状が立方体であるが、物体34の形状はこれに限らず、他の形状であってもよい。
Figure 5 shows a schematic diagram of an example of the
図5に例示する情報処理システム100において、実サイズ情報生成部122は、複数の魚30と物体34とを含む魚撮像画像を、相対距離学習モデルに入力して、複数の魚30及び物体34のそれぞれ同士の相対距離を特定してよい。実サイズ情報生成部122は、物体34の実サイズ及びカメラ200との距離と、特定した相対距離とを用いて、複数の魚30のそれぞれの実サイズ情報を生成してよい。
In the
図6は、情報処理システム100の一例を概略的に示す。図6に示す例において、情報処理システム100は、測距センサ300と通信可能である。測距センサ300は、魚30に対して光を照射し、魚30からの反射光を受光することによって、測距センサ300と魚30との距離を測定可能である。測距センサ300は、カメラ200に対応する位置に配置される。記憶部110は、測距センサ300とカメラ200との位置関係の情報を記憶する。
Figure 6 shows a schematic diagram of an example of an
図6に例示する情報処理システム100において、距離情報取得部124は、測距センサ300によって測定された、測距センサ300と複数の魚30のそれぞれとの距離を示す距離情報を取得してよい。実サイズ情報生成部122は、距離情報取得部124が取得した距離情報と、カメラ200と測距センサ300との位置関係とから、カメラ200と複数の魚30のそれぞれとの距離を算出してよい。実サイズ情報生成部122は、サイズ推定部120が複数の魚30を含む魚撮像画像を学習モデルに入力して取得した複数の魚30の画像サイズ情報と、カメラ200と複数の魚30のそれぞれとの距離とを用いて、複数の魚30のそれぞれについて、実サイズ情報を生成してよい。
In the
図7は、情報処理システム100、学習装置102、又は推定装置104として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
7 shows an example of a hardware configuration of a
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブは、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
The
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
The
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVDドライブは、プログラム又はデータをDVD-ROM等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
The
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、DVD-ROM又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
The programs are provided by a computer-readable storage medium such as a DVD-ROM or an IC card. The programs are read from the computer-readable storage medium, installed in
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
For example, when communication is performed between
また、CPU1212は、記憶装置1224、DVDドライブ(DVD-ROM)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
The
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
Various types of information, such as various types of programs, data, tables, and databases, may be stored in the recording medium and may undergo information processing. The
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
The above-described programs or software modules may be stored in a computer-readable storage medium on the
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。 The blocks in the flowcharts and block diagrams in this embodiment may represent stages of a process in which an operation is performed or "parts" of a device responsible for performing the operation. Particular stages and "parts" may be implemented by dedicated circuitry, programmable circuitry provided with computer-readable instructions stored on a computer-readable storage medium, and/or a processor provided with computer-readable instructions stored on a computer-readable storage medium. The dedicated circuitry may include digital and/or analog hardware circuits and may include integrated circuits (ICs) and/or discrete circuits. The programmable circuitry may include reconfigurable hardware circuits including AND, OR, XOR, NAND, NOR, and other logical operations, flip-flops, registers, and memory elements, such as, for example, field programmable gate arrays (FPGAs) and programmable logic arrays (PLAs).
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、Blu-ray(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。 A computer-readable storage medium may include any tangible device capable of storing instructions that are executed by a suitable device, such that a computer-readable storage medium having instructions stored thereon comprises an article of manufacture that includes instructions that can be executed to create means for performing the operations specified in the flowchart or block diagram. Examples of computer-readable storage media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like. More specific examples of computer-readable storage media may include floppy disks, diskettes, hard disks, random access memories (RAMs), read-only memories (ROMs), erasable programmable read-only memories (EPROMs or flash memories), electrically erasable programmable read-only memories (EEPROMs), static random access memories (SRAMs), compact disk read-only memories (CD-ROMs), digital versatile disks (DVDs), Blu-ray disks, memory sticks, integrated circuit cards, and the like.
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。 The computer readable instructions may include either assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
コンピュータ可読命令は、コンピュータ等のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。ここで、コンピュータは、PC(パーソナルコンピュータ)、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、汎用コンピュータ、または特殊目的のコンピュータ等であってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このような複数のコンピュータが接続されたコンピュータシステムは分散コンピューティングシステムとも呼ばれ、広義のコンピュータである。分散コンピューティングシステムにおいては、複数のコンピュータのそれぞれがプログラムの一部ずつを実行し、必要に応じてコンピュータ間でプログラム実行中のデータを受け渡すことによって、複数のコンピュータが集合的に プログラムを実行する。 The computer-readable instructions may be provided to a general-purpose computer, a special-purpose computer, or a processor of another programmable data processing device, or a programmable circuit, either locally or via a wide area network (WAN) such as a local area network (LAN), the Internet, or the like, so that the processor of the programmable data processing device, or the programmable circuit, executes the computer-readable instructions to generate means for performing the operations specified in the flowchart or block diagram. Here, the computer may be a PC (personal computer), a tablet computer, a smartphone, a workstation, a server computer, a general-purpose computer, or a special-purpose computer, or may be a computer system in which multiple computers are connected. Such a computer system in which multiple computers are connected is also called a distributed computing system, and is a computer in the broad sense. In a distributed computing system, multiple computers collectively execute a program by each executing a part of the program and transferring data during program execution between the computers as necessary.
プロセッサの例としては、コンピュータプロセッサ、中央処理装置、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。コンピュータは、1つのプロセッサまたは複数のプロセッサを備えてよい。複数のプロセッサを備えるマルチプロセッサシステムにおいては、それぞれのプロセッサがプログラムの一部ずつを実行し、必要に応じてプロセッサ間でプログラム実行中のデータを受け渡すことによって、複数のプロセッサが集合的にプログラムを実行する。例えば、マルチタスクの実行において、複数のプロセッサのそれぞれは、タイムスライス毎にタスクスイッチすることにより各タスクの一部分ずつを細切れに実行してよい。この場合、各プロセッサが1つのプログラムのうちどの部分を実行するかは、動的に変化する。複数のプロセッサのそれぞれがプログラムのどの部分を実行するかは、マルチプロセッサを意識したプログラミングにより静的に定められてもよい。 Examples of processors include computer processors, central processing units, processing units, microprocessors, digital signal processors, controllers, microcontrollers, etc. A computer may have one processor or multiple processors. In a multiprocessor system with multiple processors, each processor executes a part of a program, and the multiple processors collectively execute a program by passing data between processors as necessary during program execution. For example, in multitasking, each of the multiple processors may execute a part of each task in small chunks by switching tasks every time slices. In this case, which part of a program each processor executes changes dynamically. Which part of a program each of the multiple processors executes may be statically determined by programming that is aware of the multiprocessor.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 The present invention has been described above using an embodiment, but the technical scope of the present invention is not limited to the scope described in the above embodiment. It is clear to those skilled in the art that various modifications and improvements can be made to the above embodiment. It is clear from the claims that forms incorporating such modifications or improvements can also be included in the technical scope of the present invention.
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process, such as operations, procedures, steps, and stages, in the devices, systems, programs, and methods shown in the claims, specifications, and drawings is not specifically stated as "before" or "prior to," and it should be noted that the processes may be performed in any order, unless the output of a previous process is used in a later process. Even if the operational flow in the claims, specifications, and drawings is explained using "first," "next," etc. for convenience, it does not mean that it is essential to perform the processes in that order.
20 ネットワーク、30 魚、32 タグ、100 情報処理システム、102 学習装置、104 推定装置、110 記憶部、112 データ取得部、114 シミュレーションデータ生成部、116 GTデータ生成部、118 学習実行部、120 サイズ推定部、122 実サイズ情報生成部、124 距離情報取得部、126 重量推定部、128 出力制御部、200 カメラ、210 ステレオカメラ、300 測距センサ、1200 コンピュータ、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インタフェース、1224 記憶装置、1230 ROM、1240 入出力チップ 20 network, 30 fish, 32 tag, 100 information processing system, 102 learning device, 104 estimation device, 110 memory unit, 112 data acquisition unit, 114 simulation data generation unit, 116 GT data generation unit, 118 learning execution unit, 120 size estimation unit, 122 real size information generation unit, 124 distance information acquisition unit, 126 weight estimation unit, 128 output control unit, 200 camera, 210 stereo camera, 300 distance measurement sensor, 1200 computer, 1210 host controller, 1212 CPU, 1214 RAM, 1216 graphic controller, 1218 display device, 1220 input/output controller, 1222 communication interface, 1224 storage device, 1230 ROM, 1240 input/output chip
Claims (12)
複数の前記サイズGTデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、
複数の魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定部と、
前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記サイズ推定部が取得した前記複数の魚の画像サイズ情報とを用いて、前記複数の魚のそれぞれについて、実空間における3次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、情報処理システム。 a GT data generating unit that generates size GT (Ground Truth) data including an image of a fish and image size information indicating a three-dimensional size of the fish in an image space, using simulation data obtained by simulating a fish;
A learning execution unit that executes machine learning using a plurality of the size GT data to generate a learning model in which an image of a fish is input and image size information indicating a three-dimensional size of the fish in an image space is output;
a size estimation unit that inputs a fish image of a plurality of fishes into the learning model generated by the learning execution unit, and acquires image size information of the plurality of fishes;
a real size information generating unit that identifies a distance between a camera that captured the fish image and one of the plurality of fish, identifies a relative distance between the plurality of fish, and generates real size information indicating a three-dimensional size in real space for each of the plurality of fish using the distance between the camera and the one fish, the relative distance between the plurality of fish, and image size information of the plurality of fish acquired by the size estimation unit;
a weight estimation unit that estimates a weight for each of the plurality of fish using the actual size information.
前記学習実行部は、前記複数のサイズGTデータと、複数の前記姿勢GTデータとを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の姿勢を示す姿勢情報を出力とする姿勢学習モデルと、前記魚の画像と前記姿勢情報とを入力とし、前記魚の画像空間における3次元のサイズを示す画像サイズ情報を出力とするサイズ学習モデルとを含む前記学習モデルを生成し、
前記サイズ推定部は、前記魚撮像画像を、前記姿勢学習モデルに入力し、前記姿勢学習モデルから出力された前記姿勢情報と、前記魚撮像画像とを前記サイズ学習モデルに入力して、前記魚の前記画像サイズ情報を取得する、請求項1に記載の情報処理システム。 The GT data generation unit generates posture GT data including an image of a fish and posture information indicating a posture of the fish using simulation data obtained by simulating a fish,
The learning execution unit executes machine learning using the plurality of size GT data and the plurality of posture GT data to generate the learning models including a posture learning model that receives an image of a fish as an input and outputs posture information indicating the posture of the fish, and a size learning model that receives an image of the fish and the posture information as an input and outputs image size information indicating a three-dimensional size of the fish in an image space,
2. The information processing system according to claim 1, wherein the size estimation unit inputs the fish image into the posture learning model, and inputs the posture information output from the posture learning model and the fish image into the size learning model to obtain the image size information of the fish.
を備え、
前記実サイズ情報生成部は、前記魚撮像画像を前記相対距離学習モデルに入力して、前記複数の魚同士の前記相対距離を特定する、請求項1に記載の情報処理システム。 A storage unit that stores a relative distance learning model that receives an image including a plurality of fish as an input and outputs the relative distances between the plurality of fish,
The information processing system according to claim 1 , wherein the actual size information generating unit inputs the fish captured image into the relative distance learning model to identify the relative distances between the plurality of fish.
複数の前記サイズGTデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成し、複数の前記距離GTデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成する学習実行部と、
複数の魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定部と、
前記サイズ推定部が取得した前記複数の魚の画像サイズ情報と、前記魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における3次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、情報処理システム。 a GT data generation unit that uses simulation data obtained by simulating a fish to generate size GT (Ground Truth) data including an image of the fish and image size information indicating a three-dimensional size of the fish in an image space, and that uses the simulation data obtained by simulating the fish to generate distance GT data including an image of the fish captured by a virtual camera, a distance between the fish and the virtual camera, and parameters of the camera;
A learning execution unit that executes machine learning using a plurality of the size GT data to generate a learning model in which an image of a fish is input and image size information indicating the three-dimensional size of the fish in an image space is output, and that executes machine learning using a plurality of the distance GT data to generate a distance learning model in which an image of a fish and parameters of a camera that captured the image are input and the distance between the fish and the camera is output.
a size estimation unit that inputs a fish image of a plurality of fishes into the learning model generated by the learning execution unit, and acquires image size information of the plurality of fishes;
a real size information generating unit that generates real size information indicating a three-dimensional size in real space for each of the plurality of fishes based on image size information of the plurality of fishes acquired by the size estimation unit and the distances of each of the plurality of fishes from the camera output from the distance learning model by inputting the fish image and parameters of the camera that captured the fish image into the distance learning model;
a weight estimation unit that estimates a weight for each of the plurality of fish using the actual size information.
複数の前記サイズGTデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行部と、
複数の魚を撮像した魚撮像画像を、前記学習実行部によって生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定部と、
前記複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得部と、
前記サイズ推定部が前記複数の魚を含む前記魚撮像画像を前記学習モデルに入力して取得した前記複数の魚の画像サイズ情報と、前記距離情報取得部が取得した前記距離情報とを用いて、前記複数の魚のそれぞれについて、実空間における3次元のサイズを示す実サイズ情報を生成する実サイズ情報生成部と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定部と
を備える、情報処理システム。 a GT data generating unit that generates size GT (Ground Truth) data including an image of a fish and image size information indicating a three-dimensional size of the fish in an image space, using simulation data obtained by simulating a fish;
A learning execution unit that executes machine learning using a plurality of the size GT data to generate a learning model in which an image of a fish is input and image size information indicating a three-dimensional size of the fish in an image space is output;
a size estimation unit that inputs a fish image of a plurality of fishes into the learning model generated by the learning execution unit, and acquires image size information of the plurality of fishes;
a distance information acquisition unit that acquires distance information indicating a distance between the distance measuring sensor and each of the plurality of fishes, the distance information being measured by the distance measuring sensor irradiating light onto the plurality of fishes;
a real size information generating unit that generates real size information indicating a three-dimensional size in real space for each of the plurality of fishes, using image size information of the plurality of fishes acquired by the size estimation unit by inputting the fish image including the plurality of fishes into the learning model and the distance information acquired by the distance information acquiring unit;
a weight estimation unit that estimates a weight for each of the plurality of fish using the actual size information.
魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における3次元のサイズを示す画像サイズ情報とを含むサイズGT(Ground Truth)データを生成するGTデータ生成段階と、
複数の前記サイズGTデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行段階と、
複数の魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定段階と、
前記魚撮像画像を撮像したカメラと前記複数の魚のうちの一の魚との距離を特定し、前記複数の魚同士の相対距離を特定し、前記カメラと前記一の魚との前記距離と、前記複数の魚同士の相対距離と、前記サイズ推定段階において取得した前記複数の魚の画像サイズ情報とを用いて、前記複数の魚のそれぞれについて、実空間における3次元のサイズを示す実サイズ情報を生成する実サイズ情報生成段階と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定段階と
を備える、情報処理方法。 1. A computer-implemented information processing method, comprising:
a GT data generation step of generating size GT (Ground Truth) data including an image of a fish and image size information indicating a three-dimensional size of the fish in an image space, using simulation data obtained by simulating a fish;
A learning execution stage in which machine learning is performed using a plurality of the size GT data to generate a learning model in which an image of a fish is input and image size information indicating the three-dimensional size of the fish in the image space is output;
a size estimation step of inputting fish images of a plurality of fishes to the learning model generated in the learning execution step to acquire image size information of the plurality of fishes;
a real size information generating step of determining a distance between a camera that captured the fish image and one of the plurality of fish, determining a relative distance between the plurality of fish, and generating real size information indicating a three-dimensional size in real space for each of the plurality of fish using the distance between the camera and the one fish, the relative distance between the plurality of fish, and image size information of the plurality of fish acquired in the size estimation step;
and a weight estimating step of estimating a weight for each of the plurality of fish using the actual size information.
魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における3次元のサイズを示す画像サイズ情報とを含むサイズGT(Ground Truth)データを生成し、魚をシミュレーションしたシミュレーションデータを用いて、魚を仮想的なカメラで撮像した画像と、前記魚と前記仮想的なカメラとの距離と、前記カメラのパラメータとを含む距離GTデータを生成するGTデータ生成段階と、
複数の前記サイズGTデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成し、複数の前記距離GTデータを用いた機械学習を実行することによって、魚の画像及び当該画像を撮像したカメラのパラメータを入力とし、前記魚と前記カメラとの距離を出力とする距離学習モデルを生成する学習実行段階と、
複数の魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定段階と、
前記サイズ推定段階において取得した前記複数の魚の画像サイズ情報と、前記複数の魚を含む前記魚撮像画像及び当該魚撮像画像を撮像したカメラのパラメータを前記距離学習モデルに入力して前記距離学習モデルから出力された前記複数の魚のそれぞれの前記カメラからの距離とに基づいて、前記複数の魚のそれぞれについて、実空間における3次元のサイズを示す実サイズ情報を生成する実サイズ情報生成段階と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定段階と
を備える、情報処理方法。 1. A computer-implemented information processing method, comprising:
a GT data generation step of generating size GT (Ground Truth) data including an image of a fish and image size information indicating a three-dimensional size of the fish in an image space using simulation data obtained by simulating a fish, and generating distance GT data including an image of the fish captured by a virtual camera, a distance between the fish and the virtual camera, and parameters of the camera using the simulation data obtained by simulating a fish;
A learning execution stage in which a learning model is generated by executing machine learning using a plurality of the size GT data, the learning model inputting an image of a fish and outputting image size information indicating the three-dimensional size of the fish in the image space, and a learning execution stage in which a learning model is generated by executing machine learning using a plurality of the distance GT data, the learning model inputting an image of a fish and parameters of a camera that captured the image, and outputting the distance between the fish and the camera;
a size estimation step of inputting fish images of a plurality of fishes to the learning model generated in the learning execution step to acquire image size information of the plurality of fishes;
a real size information generation step of generating real size information indicating a three-dimensional size in real space for each of the plurality of fishes based on image size information of the plurality of fishes acquired in the size estimation step, the fish image including the plurality of fishes and parameters of a camera that captured the fish image, which are input to the distance learning model, and the distance from the camera to each of the plurality of fishes output from the distance learning model;
and a weight estimating step of estimating a weight for each of the plurality of fish using the actual size information.
魚をシミュレーションしたシミュレーションデータを用いて、魚の画像と、前記魚の画像空間における3次元のサイズを示す画像サイズ情報とを含むサイズGT(Ground Truth)データを生成するGTデータ生成段階と、
複数の前記サイズGTデータを用いた機械学習を実行することによって、魚の画像を入力とし、前記魚の画像空間における当該3次元のサイズを示す画像サイズ情報を出力とする学習モデルを生成する学習実行段階と、
複数の魚を撮像した魚撮像画像を、前記学習実行段階において生成された前記学習モデルに入力して、前記複数の魚の画像サイズ情報を取得するサイズ推定段階と
を備え、
前記複数の魚に対して測距センサが光を照射することによって測定した、前記測距センサと前記複数の魚のそれぞれとの距離を示す距離情報を取得する距離情報取得段階と、
前記サイズ推定段階において取得した前記複数の魚の画像サイズ情報と、前記距離情報取得段階において取得した前記距離情報とを用いて、前記複数の魚のそれぞれについて、実空間における3次元のサイズを示す実サイズ情報を生成する実サイズ情報生成段階と、
前記複数の魚のそれぞれについて、前記実サイズ情報を用いて、重量を推定する重量推定段階と
を更に備える、情報処理方法。 1. A computer-implemented information processing method, comprising:
a GT data generation step of generating size GT (Ground Truth) data including an image of a fish and image size information indicating a three-dimensional size of the fish in an image space, using simulation data obtained by simulating a fish;
A learning execution stage in which machine learning is performed using a plurality of the size GT data to generate a learning model in which an image of a fish is input and image size information indicating the three-dimensional size of the fish in the image space is output;
a size estimation step of inputting fish images of a plurality of fishes to the learning model generated in the learning execution step to acquire image size information of the plurality of fishes;
a distance information acquisition step of acquiring distance information indicating a distance between the distance measuring sensor and each of the plurality of fishes, the distance information being measured by the distance measuring sensor irradiating light onto the plurality of fishes;
a real size information generating step of generating real size information indicating a three-dimensional size in real space for each of the plurality of fishes, using the image size information of the plurality of fishes acquired in the size estimation step and the distance information acquired in the distance information acquiring step;
and a weight estimating step of estimating a weight for each of the plurality of fish using the actual size information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023199782A JP7510559B1 (en) | 2023-11-27 | 2023-11-27 | Information processing system, program, and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023199782A JP7510559B1 (en) | 2023-11-27 | 2023-11-27 | Information processing system, program, and information processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7510559B1 true JP7510559B1 (en) | 2024-07-03 |
Family
ID=91671193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023199782A Active JP7510559B1 (en) | 2023-11-27 | 2023-11-27 | Information processing system, program, and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7510559B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019188506A1 (en) | 2018-03-26 | 2019-10-03 | 日本電気株式会社 | Information processing device, object measuring system, object measuring method, and program storing medium |
WO2021193391A1 (en) | 2020-03-26 | 2021-09-30 | ソニーセミコンダクタソリューションズ株式会社 | Data generation method, learning method, and estimation method |
WO2022209435A1 (en) | 2021-03-31 | 2022-10-06 | 古野電気株式会社 | Computer program, model generation method, estimation method and estimation device |
JP2022178006A (en) | 2021-05-19 | 2022-12-02 | 国立大学法人福井大学 | Learning target expansion program, learning program, information processing apparatus, and learning target expansion method |
JP7265672B2 (en) | 2020-09-28 | 2023-04-26 | ソフトバンク株式会社 | Information processing method, program and information processing device |
-
2023
- 2023-11-27 JP JP2023199782A patent/JP7510559B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019188506A1 (en) | 2018-03-26 | 2019-10-03 | 日本電気株式会社 | Information processing device, object measuring system, object measuring method, and program storing medium |
WO2021193391A1 (en) | 2020-03-26 | 2021-09-30 | ソニーセミコンダクタソリューションズ株式会社 | Data generation method, learning method, and estimation method |
JP7265672B2 (en) | 2020-09-28 | 2023-04-26 | ソフトバンク株式会社 | Information processing method, program and information processing device |
WO2022209435A1 (en) | 2021-03-31 | 2022-10-06 | 古野電気株式会社 | Computer program, model generation method, estimation method and estimation device |
JP2022178006A (en) | 2021-05-19 | 2022-12-02 | 国立大学法人福井大学 | Learning target expansion program, learning program, information processing apparatus, and learning target expansion method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10643364B1 (en) | Ground plane detection for placement of augmented reality objects | |
US10235771B2 (en) | Methods and systems of performing object pose estimation | |
US11710040B2 (en) | Generating synthetic models or virtual objects for training a deep learning network | |
US11494987B2 (en) | Providing augmented reality in a web browser | |
KR20160048901A (en) | System and method for determining the extent of a plane in an augmented reality environment | |
US20210142579A1 (en) | Method of generating three-dimensional model data of object | |
CN110163087B (en) | Face gesture recognition method and system | |
JP2021524628A (en) | Lighting estimation | |
KR20220160066A (en) | Image processing method and apparatus | |
CN104350525A (en) | Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling | |
CN110832542B (en) | Identification processing device, identification processing method, and program | |
EP4049245B1 (en) | Augmented reality 3d reconstruction | |
KR20190100305A (en) | Device and method for generating dynamic virtual contents in mixed reality | |
US20230260216A1 (en) | Point cloud annotation device, method, and program | |
TWI489319B (en) | Depth gradient based tracking | |
CN109544516B (en) | Image detection method and device | |
EP4073688A1 (en) | Target detection method, device, terminal device, and medium | |
US9092909B2 (en) | Matching a system calculation scale to a physical object scale | |
CN110517345A (en) | A kind of method and device of threedimensional model rendering | |
JP7510559B1 (en) | Information processing system, program, and information processing method | |
US20210056247A1 (en) | Pose detection of objects from image data | |
CN112634439B (en) | 3D information display method and device | |
CN112652056B (en) | 3D information display method and device | |
JP2019219248A (en) | Point group processor, method for processing point group, and program | |
US20230237690A1 (en) | Information processing device, generation method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
R150 | Certificate of patent or registration of utility model |
Ref document number: 7510559 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |