JP7435625B2 - 水中生物撮影支援装置、水中生物撮影支援方法および水中生物撮影支援プログラム - Google Patents

水中生物撮影支援装置、水中生物撮影支援方法および水中生物撮影支援プログラム Download PDF

Info

Publication number
JP7435625B2
JP7435625B2 JP2021566676A JP2021566676A JP7435625B2 JP 7435625 B2 JP7435625 B2 JP 7435625B2 JP 2021566676 A JP2021566676 A JP 2021566676A JP 2021566676 A JP2021566676 A JP 2021566676A JP 7435625 B2 JP7435625 B2 JP 7435625B2
Authority
JP
Japan
Prior art keywords
camera
underwater
fish
creatures
imaging surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021566676A
Other languages
English (en)
Other versions
JPWO2021130950A1 (ja
JPWO2021130950A5 (ja
Inventor
準 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021130950A1 publication Critical patent/JPWO2021130950A1/ja
Publication of JPWO2021130950A5 publication Critical patent/JPWO2021130950A5/ja
Application granted granted Critical
Publication of JP7435625B2 publication Critical patent/JP7435625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G01B11/043—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring length
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0002—Arrangements for supporting, fixing or guiding the measuring instrument or the object to be measured
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Description

本発明は、水中生物の大きさを推定するために水中生物を撮影する水中生物撮影支援装置等に関する。
水中生物を監視するシステムの開発が求められている。このようなシステムは、生簀内で育成される水中生物（例えば、魚類）の大きさを推定して出荷の時期を判断したり、海や川などに生育する水中生物の状態を検出したりする。特許文献１は、魚の長さの推定に関する技術を開示する。特許文献２は、魚群を自動追跡する技術を開示する。
国際公開第２０１９／０４５０８９号 特開２０１７－１８１７６６号公報
特許文献１は、複数の魚が撮影された画像において、一個体の魚体を矩形領域で特定し、特定された魚体のうちの特徴部位（魚体の頭および尾）の空間座標を特定し、当該空間座標の間隔を検出して魚体の長さを算出する技術を開示する。特許文献２は、ユーザが水中監視映像を見て監視対象を設定すると、水中監視装置が監視対象とされた魚群を自動追跡する技術を開示する。しかしながら、両者とも、如何に大きさを推定するに適した魚の画像を撮影するかということについては開示がない。
本開示は上記問題点に鑑みてなされたものであり、水中生物の大きさを推定するにあたり、当該推定に適した魚の画像を撮影するための水中生物撮影支援装置等を提供することを目的の１つとする。
上記問題点を鑑みて、本開示の第１の観点である水中生物撮影支援装置は、
カメラより取得する画像から水中生物を検知する検知手段と、
前記検知手段により検知された前記水中生物と前記カメラとの位置関係を判断する判断手段と、
前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する出力手段
とを備える。
本開示の第２の観点である水中生物撮影システムは、
上記に記載の水中生物撮影支援装置と、
水中を撮影するカメラと、
前記水中生物撮影支援装置が出力する、水中生物の側面を撮影するための補助情報を表示する表示装置
とを備える。
本開示の第３の観点である水中生物撮影支援方法は、
カメラより取得する画像から水中生物を検知し、
検知された前記水中生物と前記カメラとの位置関係を判断し、
前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する。
本開示の第４の観点である水中生物撮影プログラムは、
カメラより取得する画像から水中生物を検知し、
検知された前記水中生物と前記カメラとの位置関係を判断し、
前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する
ことをコンピュータに実現させる。
水中生物撮影プログラムは、コンピュータが読み書き可能な非一時的な記憶媒体に格納されていても良い。
本発明によれば、水中生物の大きさを推定するにあたり、当該推定に適した魚の画像を撮影できる水中生物撮影支援装置等を提供することができる。
本開示の第１の実施形態に係る水中生物撮影システムの構成例を示すブロック図である。 サーバ装置の構成例を示すブロック図である。 水中生物の特徴点の一例を示す図である。 撮影された水中画像の第１の例を示す図である。 撮影された水中画像の第２の例を示す図である。 撮影された水中画像の第３の例を示す図である。 撮影された水中画像の第４の例を示す図である。 撮影された水中画像の第５の例を示す図である。 水中生物とカメラとの位置関係を示す模式図である。 水中生物とカメラとの時系列の位置関係を示す模式図である。 端末の構成例を示すブロック図である。 本開示の第１の実施形態に係る水中生物撮影システムの動作を示すフローチャートである。 水中画像に表示される補助情報の一例を示す図である。 本開示の第２の実施形態に係る水中生物撮影支援装置の構成例を示すブロック図である。 各実施形態において適用可能な情報処理装置の構成例を示すブロック図である。
海や川に生息する水中生物は陸上生物と異なりその観測が困難であるが、水中での観測を必要とする場合がある。例えば、魚の養殖業において、養殖中である生簀内の魚の観測や大きさの推定は、水揚げ時期の判断や、餌やりの量の判断において必要である。ここで水中生物とは、魚類、甲殻類等の水中に生息する生物を指すが、以下の各実施形態においては一例として魚について説明する。
水中での魚の大きさの推定において重要なのは、魚の長手方向における大きさを推定するために必要となる特徴点、例えば、口先、尾びれ付け根等を含む魚の側面の画像をカメラで撮影することである。大きさをより正確に推定するためには、画像中にて一方向を向く魚の一方向側の一つの端部を示す特徴点（例えば口先）および他の端部（例えば尾びれの付け根）を示す特徴点を少なくとも含む複数の特徴点の各々から、撮影するカメラ（レンズ面）までの距離をできるだけ等しくし、魚の側面とカメラ撮像面とが正対する状態で撮影した魚の側面の正対画像を用いることが重要である。そのため本開示の実施形態では、魚の側面の正対画像を撮影可能なように、すなわち魚の側面とカメラの撮像面とが正対または略正対するようにカメラの位置を調整する。例えば、カメラの光軸と魚の側面とが垂直又は略垂直に交わるまでカメラの位置や姿勢を調整する。また、例えば、カメラの光軸の方向と魚の向く方向とが垂直又は略垂直に交わるまでカメラの位置や姿勢を調整する。この際、カメラのキャプチャ画像内に魚の側面全体が含まれていることが好ましい。しかし、魚の側面全体が映っていない場合であっても、例えば、魚体の一部が別の魚体と重なっている場合であっても、当該画像内にて対象である魚の特徴点を検出できる限り、カメラの位置や姿勢を調整することができる。
生簀内を泳ぐ魚には、例えばマグロやブリなど、群れで一方向に回遊する習性の魚がいる。一度、魚体の側面とカメラの撮像面とが正対する位置にカメラを配置するよう調整できれば、一画像内に多くの魚体の側面を捉えた画像（映像）を撮影できる。即ち、群れる魚は特定の刺激を与えない限りしばらくの間、例えば数分間は同じ位置を回遊し続ける習性があるため、一度カメラ位置を正しく調整できれば、生簀内の魚の大きさの推定を行うにあたり十分な画像データを得ることが出来る。また、これら側面の画像を基に学習し作成した大きさ推定モデルを用いて魚の大きさを推定することで、より高い精度で水中の魚の大きさを推定することが可能となる。
本開示の各実施形態においては、水中生物の大きさを推定するにあたり、当該推定に適した魚の画像を撮影する手法について説明する。
以下、各実施形態について図面を参照して詳細に説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は本発明の実施形態における構成を概略的に表している。更に以下に記載される本発明の実施形態は一例であり、その本質を同一とする範囲において適宜変更可能である。
＜第１の実施形態＞
（水中生物撮影システム）
以下、本開示の第１の実施形態による水中生物撮影システム１００について図面を参照して説明する。
図１は水中生物撮影システム１００の概略構成を示す図である。図１で示すように水中生物撮影システム１００は、サーバ装置１、端末２、ステレオカメラ３、調整部４、カメラ位置制御部５およびカメラ支持部７を備える。調整部４は、カメラ位置調整部６およびクレーン部８を備える。サーバ装置１と端末２との間、サーバ装置１とステレオカメラ３との間は有線通信又は無線通信可能に接続されている。
水中生物撮影システム１００における撮影動作の全体的な流れについて説明する。ステレオカメラ３は水中において魚の画像を撮影する。サーバ装置１はステレオカメラ３から魚の画像を取得し、当該魚の側面とカメラの撮像面とが正対するための補助情報を生成する。補助情報とは、魚の側面とステレオカメラ３の撮像面とが正対するようにステレオカメラ３を移動させるための指示を、ステレオカメラ３のユーザ（制御者）に提示する情報である。ステレオカメラ３のユーザ（制御者）とは、ステレオカメラ３を操作する人、撮影のためにクレーン部８を操作する人、カメラの調整部４を操作する人などである。これらは同一人物であってもよいし別人であってもよい。魚群は生簀内を自由に動くため、海上の所定位置でステレオカメラ３の深度、上下角度と左右角度などを調整すれば魚を撮影できる場合もあれば、船やクレーン部８を動かして広域で探知せねば魚を撮影できない場合もあるが、補助情報は、いずれの場合の情報も含むものとする。尚、ステレオカメラ３を搭載した水中ドローンを使用して水中を移動し、ステレオカメラ３の姿勢等を適宜調整して、魚の撮影を行っても良い。その際、補助情報は、水中ドローンを操作する人に提示する情報、または、水中ドローンを操作するコンピュータに出力する情報を含むものとする。
サーバ装置１は魚の画像および補助情報を端末２に送信する。端末２は魚を撮影するユーザが備える携帯通信端末であり、サーバ装置１から魚の画像および補助情報を受信するとそれらを表示部２ａに表示する。ユーザは表示された当該魚の画像および補助情報を見つつ、魚の側面とカメラの撮像面とが正対する位置にステレオカメラ３を上下左右に移動させる又は姿勢調整する。この処理は、魚の側面とカメラの撮像面とが正対するまで繰り返される。
魚の側面とカメラの撮像面とが正対する位置において、ステレオカメラ３が、生簀内の魚の大きさの推定に必要とされる所定時間分の魚の側面の正対画像を撮影すると、サーバ装置１は当該撮影された画像データを基に大きさ推定処理を開始する。尚、大きさ推定処理はサーバ装置１以外のサーバ装置で実行されてもよい。大きさ推定処理は、画像データの撮影と同時に実行されても良いし、撮影後いつ実行されても良い。サーバ装置１は図１においては船上に配置されているが、これは有線又は無線通信可能な他の場所に配置されていてもよい。また、サーバ装置１の全部または一部の機能を端末２が備えていても良い。即ち、端末２において、ステレオカメラ３からの魚の画像の取得、魚の側面とカメラの撮像面とが正対するための補助情報生成およびこれらの表示をおこなってもよい。さらに端末２において、魚の大きさ推定結果を表示部２ａに表示してもよい。
以下、図１に示す各構成要素について説明する。
ステレオカメラ３は水中において魚の画像を取得するカメラであり、距離センサとしての機能も備える。ステレオカメラ３は、所定距離をおいて配置される２つのレンズを用いて被写体（３次元物体）を２つの異なる方向から同時に撮影することにより、各カメラの撮影する画像内の画素の位置情報から、カメラから被写体までの奥行き距離等の情報を三角測量法に基づいて算出する。尚、被写体までの奥行き距離を取得できるカメラであればステレオカメラ３以外であっても良い。また、画像の情報を取得するカメラと、奥行き距離等の情報を取得できるセンサとを別々に備えていても良い。
ステレオカメラ３は調整部４（クレーン部８およびカメラ位置調整部６）を備えている。調整部４は、水面下における、水面に対するステレオカメラ３の垂直または略垂直移動、水面に対する水平または略水平移動、水面に対する水平または略水平回転、および、水面に対する垂直または略垂直回転のうちの少なくとも一つを実行する。具体的に、クレーン部８は、水面に対するステレオカメラ３の垂直または略垂直移動、および、水面に対する水平または略水平移動を実行する。カメラ位置調整部６は、水面に対する水平または略水平回転、および、水面に対する垂直または略垂直回転を実行する。
ステレオカメラ３はカメラ支持部７に取り付けられて水中に沈められる。カメラ支持部７はステレオカメラ３を水中の所定位置に所定時間配置させるための支持材である。具体的にカメラ支持部７としては、波の影響を受けづらいもの、例えば金属棒やある程度の硬さおよび太さのあるロープなどが好ましい。カメラ支持部７にはステレオカメラ３を固定するための固定具が備えられている。
クレーン部８は、カメラ支持部７を垂直方向または水平方向に移動させるための装備を備える。例えば、カメラ支持部７がロープであったらこれを上げ下げするためのリール機構を備える。カメラ支持部７が金属棒であったらこれを垂直方向に動かすための機構を備える。クレーン部８は、カメラ支持部７を水平（略水平）状または半円（楕円）状に移動させるための機構、例えばクレーン部８の首または足元が水平移動、回転または回動するような機構を備えていても良い。尚、クレーン部８を運ぶ船を移動させることでも水平移動や半円移動は実現することが出来る。クレーン部８はユーザによって制御され、制御用のレバーやボタン（不図示）等を備えている。尚、小型ステレオカメラの場合は、クレーン部８の代わりにユーザが直接手で操作しても良い。
カメラ位置調整部６は、水中でステレオカメラ３の姿勢、即ち、ステレオカメラ３の水平角度（左右の向き）および垂直角度（上下の向き）を調整する。カメラ位置調整部６は、ステレオカメラ３およびカメラ支持部７の間に取り付けられる左右向きの回転および上下向きの回転が可能な機構である。例えば、カメラ位置調整部６は上下左右角度を調整するための電動式の歯車機構であってもよいし、ステレオカメラ３に取り付けられ、左右上下の角度を調整するピアノ線であってもよい。
カメラ位置制御部５は、カメラ位置調整部６の動きをユーザが船上で制御するための機構である。例えば、カメラ位置調整部６が電動式の歯車機構の場合は、水中の歯車機構を船上から調整するためのレバーやボタンなど、ピアノ線の場合は左右上下に取り付けられたピアノ線の位置を調整するためのリール機構やモータなどである。この他、カメラ位置制御部５に通信機能を備えさせ、カメラ位置制御部５と端末２とを有線又は無線の通信にて接続してもよい。カメラ位置制御部５は表示部２ａを介して端末２からユーザの指示を受信し、カメラ位置調整部６を制御してもよい。
（（サーバ装置））
サーバ装置１は、ステレオカメラ３と端末２との間に設置され、双方と通信可能に接続される。サーバ装置１は、図２に示すように、入力部１１、検知部１２、判断部１３、生成部１４、出力部１５、大きさ推定部１６および記憶部１７を備える。
入力部１１は、ステレオカメラ３から撮影された水中の画像を取得する。入力部１１は取得した画像を検知部１２に引き渡す。尚、入力部１１は取得した画像を出力部１５に引き渡し、出力部１５が端末２に先ず画像を送信するようにしてもよい。
検知部１２は、カメラより取得する画像から水中生物を検知する。検知部１２は、水中における魚の画像を学習し作成された学習モデルを用いて、取得された画像内における魚の写り込みを判定する。学習モデルは水中において撮影された魚の画像を教師データとして学習し作成されたモデルであり、画像内に写る魚を検知することができる。学習モデルを用いて画像内に魚が検知された場合、検知部１２は、例えば、所定大きさ以上かつ所定数以上の魚が画像内に写っているかを判定する。具体的に、検知部１２は、例えば、ある特定の魚の画像内の面積占有率が所定値（例えば２０％）以上かつ所定数（例えば１匹）以上であることを判定する。なお、検知部１２は、画像内に複数の魚が写っている場合も同様に魚の写りこみを判定し、それぞれの魚を検知する。ここで、複数の魚が写っている状態は、画像内に魚群が写っている状態も含まれる。
検知部１２は、さらに、魚の特徴点の画像を学習し作成された学習モデルを用いて、取得された画像内に写る魚の特徴点を検知する。検知部１２は、魚の特徴点として、例えば図３に示すように魚の口先端位置を示す特徴点Ｐ１および、Ｐ１に対応する特徴点として、尾びれ付け根位置を示す特徴点Ｐ２を検知する。また検知部１２は、魚の特徴点として、背びれ前方付け根位置を示す特徴点Ｐ３および、Ｐ３に対応する特徴点として、腹びれ前方付け根位置を示す特徴点Ｐ４を検知してもよい。検知部１２は、魚体ごとに、画像から得た特徴点の代表座標（例えば中心点）を左右レンズ分よみとり、特徴点其々の３次元空間における３次元座標を算出する。算出にはＤＬＴ（Direct Linear Transformation）法などの公知の３次元座標へ換算する技術が用いられる。ＤＬＴ法では、撮影された画像中における点の座標と実際の２次元および３次元座標との関係を表す較正係数をあらかじめ計算しておき、この係数を用いて撮影画像内の点から３次元空間座標を求める。なお、検知部１２は、取得された画像内において魚が写り込んでいると判定された場合に、特徴点の検知を行ってもよい。また、上記の手法は検知部１２による検知の一例であり、検知部１２は、ステレオカメラ３から取得した画像における魚の特徴点を検出する公知の手法を用いてもよい。さらに、検知部１２は、画像内に複数の魚が写っている場合、検知したそれぞれの魚について特徴点を検知してもよい。
判断部１３は、検知部１２によって画像内に魚が映っていると検知された場合、ステレオカメラ３から取得した、ステレオカメラ３から魚までの奥行き距離を用いて、魚とステレオカメラ３との位置関係を判断する。位置関係とは、ステレオカメラ３の撮像面に対する検知した魚の方向および、魚とステレオカメラ３との間の距離を指す。具体的には、判断部１３は、当該位置関係に基づいて、魚の側面（魚体の側面）とステレオカメラ３の撮像面とが正対しているかを判断する。判断部１３は、ステレオカメラ３の光軸と魚の側面とが垂直又は略垂直に交わるとき、魚の側面とステレオカメラ３の撮像面とが正対する位置にあると判断してもよい。判断部１３は、魚に関して検出された対応関係にある特徴点のそれぞれとステレオカメラ３との距離の差が所定の範囲内にある場合、魚とステレオカメラ３の撮像面とが正対すると判断してもよい。具体的には、判断部１３は、検知部１２で検知された魚の各特徴点とステレオカメラ３との距離を算出し、対応する特徴点における各距離の差が所定の範囲内に収まっているかを判断する。例えば、判断部１３は、魚の口先端位置を示す特徴点Ｐ１とステレオカメラ３との距離、および、尾びれ付け根位置を示す特徴点Ｐ２とステレオカメラ３との距離の差が、所定の範囲内に収まっているかを判断する。
さらに、判断部１３は、検知した魚が最適撮像範囲内にいるかを判断してもよい。最適撮像範囲とは、ステレオカメラ３の撮像範囲のうち、魚の大きさ推定を行うのに適した範囲である。判断部１３は、検知した魚が最適撮像範囲にいるかの判断として、例えば、魚とステレオカメラ３との間の距離が所定範囲内であるかを判断してもよい。この距離は小さくても（ステレオカメラ３と魚とが接近しすぎている）、大きくても（ステレオカメラ３と魚とが離れすぎている）大きさ推定に適する画像とはならないため、予め最適な画像が撮影できる距離（例えば、カメラより５０センチから２メートルまでの範囲）を設定しておくことが好ましい。また、検知した魚が最適撮像範囲内にいるかの判断として、判断部１３は、ステレオカメラ３の所定垂直距離範囲内に魚がいるかを判断してもよい。垂直距離とはステレオカメラ３が上または下の垂直方向に移動した距離を指す。所定の垂直距離範囲内とは、例えば、垂直距離１ｍ内であれば、カメラを起点として真上に１ｍ以内、真下に１ｍ以内の範囲を指す。これは、検知部１２において、魚を上面から撮影した画像や下面から撮影した画像と、それぞれの画像におけるステレオカメラ３と検知した魚との垂直距離とを紐づけて学習し作成された学習モデルを用いることで可能となる。すなわち、検知部１２が画像内に魚を検知することと合わせて、判断部１３はステレオカメラ３の所定垂直距離範囲内に魚がいるかを判断することができる。
尚、ステレオカメラ３の所定垂直距離範囲内に魚がいるかを判定する場合に、検知部１２は、レンズの光軸位置を０°とした場合の魚位置の仰伏角が閾値（例えば仰伏角１０°）内であるかを判定してもよい。仰伏角については、ステレオカメラ３のステレオビジョン機能（画像から３次元物体の位置や距離などを三角測量に基づいて復元する計測機能）を用いて計測可能である。この場合、学習モデルを用いて検知した魚が、ステレオカメラ３に対して水面から垂直方向にどれくらいの位置にいるかを大まかに把握したあとで、ステレオビジョン機能を用いて正確な位置を計測し、ステレオカメラ３の垂直移動すべき方向（上または下）と距離を算出してもよい。
検知部１２が魚群をとらえた画像内に複数の魚（魚群）を検知すると、判断部１３は検知された複数の魚とステレオカメラ３との位置関係をそれぞれ判断する。判断部１３は、複数の魚とステレオカメラ３とのそれぞれの位置関係に基づいて、複数の魚のうち所定数以上の魚の側面がステレオカメラ３の撮像面と正対する場合に、当該魚群とステレオカメラ３の撮像面とが正対すると判断してもよい。具体的に、判断部１３は、検知されたそれぞれの魚について、魚の各特徴点とステレオカメラ３との距離を算出し、対応する特徴点（例えば、特徴点Ｐ１とＰ２）における各距離の差が所定の範囲内に収まっているか否かにより、それぞれの魚の側面がステレオカメラ３の撮像面に対して正対しているかを判断する。そして、判断部１３は、所定数以上の魚において正対していると判断した場合、当該魚群とステレオカメラ３は正対すると判断する。ここで、所定数とは予め定めた数（例えば５匹以上）であってもよい。判断部１３は、複数の魚（魚群）のそれぞれに対して求められた差の平均が所定の範囲内である場合、魚群とステレオカメラ３の撮像面は正対すると判断してもよい。判断部１３は、魚群とステレオカメラ３とのそれぞれの位置関係に基づいて、魚群のうちの所定数以上の魚の側面とステレオカメラ３の撮像面とが正対する場合、魚群とステレオカメラ３の撮像面は正対すると判断してもよい。
また、判断部１３は、検知された複数の魚とステレオカメラ３とのそれぞれの位置関係の平均に基づいて、当該魚群とステレオカメラ３の撮像面とが正対するかを判断してもよい。具体的に、判断部１３は、魚の対応する特徴点における各距離の差について、検知された複数の魚における平均を算出し、算出した平均が所定の範囲内であるかを判断することで、魚群がステレオカメラ３の撮像面と正対しているかを判断してもよい。例えば、判断部１３は、ある魚における特徴点Ｐ１とステレオカメラ３との距離および特徴点Ｐ２とステレオカメラ３との距離の差を、検知された複数の魚それぞれについて算出し、それらの平均が所定の範囲内に収まっているかを判断する。
さらに、判断部１３は、検知された複数の魚とステレオカメラ３との位置関係を判断する際に、ステレオカメラ３の撮像するエリアのうち最適撮像範囲にいる魚の情報に重みづけしてもよい。また、魚が向いている方向を表すベクトル（空間ベクトルなど）を用いて、検知された複数の魚とステレオカメラ３との位置関係および重みづけを行ってもよい。また、位置関係の判断として、魚（魚群）の向きを、例えば左右のいずれかに分類するようにしてもよい。
判断部１３が魚または魚群の側面とステレオカメラ３の撮像面とが正対すると判断するまで、検知部１２による検知処理、判断部１３による判断処理および出力部１５による出力処理を繰り返してもよい。
以下、具体例を述べる。図４に示すような画像の場合、生簀の網を撮影しているので、検知部１２は魚を検知せず、当該検知結果を出力部１５に出力する。
図５に示すような画像の場合、魚は撮影されているので、検知部１２は魚を撮影していると検知するが、魚との距離があるため魚がよく映っておらず、また魚の全体を撮影していない（魚の画像が途中で切れている）。このため検知部１２は、画像内には撮影すべき魚は映っていないと判定し、当該判定を検知結果として出力部１５に出力する。
図５に示すような画像の場合、魚は撮影されているので、検知部１２は画像内には魚は映っていると判断する。しかし、図６は魚を上から見下ろした画像であり、魚の位置がステレオカメラ３よりも閾値以上低い位置（伏角６０°程度）にある。このため検知部１２は、魚の位置がステレオカメラ３よりも下側に閾値以上距離があり、画像内には撮影すべき魚は映っていないと判定し、当該判定を検知結果として出力部に出力する。この際、検知部１２は、ステレオカメラ３の位置を垂直下降すべきこと、魚の位置までどれくらい距離があるか、即ち、どの向きにどれくらいステレオカメラ３を動かすべきかの情報を補助情報として同時に出力部１５に出力しても良い。
図７に示す画像の場合、魚がステレオカメラ３の位置から所定垂直距離範囲内に撮影されているので、検知部１２は魚を撮影していると検知し、当該検知結果を判断部１３に出力する。判断部１３は、魚とステレオカメラ３との位置関係を判断するが、図７に示す画像の場合、魚の腹側から撮影されており、魚の側面の正対画像ではない。このため判断部１３は、魚の側面とカメラの撮像面とが正対していないと判断し、当該判断結果を生成部１４に出力する。
図８に示す画像では、ステレオカメラ３の位置から最適撮像範囲内に、魚の側面がカメラの撮像面に正対した状態で撮影されている。この場合、判断部１３は、ステレオカメラ３から取得した画像が大きさ推定に適した画像であると判断する。そして、判断部１３は録画を開始するという判断結果をステレオカメラ３に出力し、ステレオカメラ３は録画を開始し、所定時間録画した画像を記憶部１７に格納する。更に、判断部１３は、録画開始の旨を出力部１５に出力してもよいし、ステレオカメラ３の移動は必要ない旨を出力部１５に出力してもよい。尚、録画の開始は、出力部１５を介して通知を受けたユーザからの指示を待ってから行うようにしてもよい。また、魚の側面とカメラの撮像面とが正対するかの判断と録画を並行して行ってもよい。
生成部１４は、判断部１３において魚の側面がカメラの撮像面と正対していないと判断された場合、魚の側面とカメラの撮像面とが正対する位置までステレオカメラ３を移動させるための情報を補助情報として生成する。生成部１４は、判断部１３において判断された魚（魚群）の向きに基づき、カメラを移動させるための補助情報を生成してもよい。具体的には、生成部１４は、魚（魚群）の向きから魚の泳いでいく方向を推測することで、魚の泳いでいく方向にステレオカメラ３の位置調整を行うという補助情報を生成してもよい。
ここで、魚の側面とカメラの撮像面との正対の判断方法および補助情報の生成方法について説明する。図９はステレオカメラ３のカメラレンズ面と魚との位置関係を、説明の簡略のために上面から示した図である。魚の尾を点Ａ、魚の口先を点Ｂとする。ステレオカメラ３のカメラレンズ面から点Ａまでの距離Ａと、ステレオカメラ３のカメラレンズ面から点Ｂまでの距離Ｂは一般的なステレオビジョンの原理を用いて測定することができる。この距離Ａと距離Ｂとの差が所定の範囲内に収まっているかを判断することにより、判断部１３は、魚の側面の正対画像であるか否かを判断する。尚、魚の側面の正対画像をカメラで撮影するには、魚の側面とカメラの撮像面とが正対するようにカメラの位置を調整する必要がある。より正確には、カメラの光軸と魚の側面とが垂直又は略垂直に交わる位置にカメラの位置を調整することが好ましい。
点Ｂを通り、ステレオカメラ３のカメラレンズ面と平行な直線と、点Ａを通るステレオカメラ３のカメラレンズ面の法線が交わる点をＣとする。尚、点Ａ、Ｂを通りカメラレンズ面に垂直な平面と図９の上面図で表示された面は平行であるものとする。
点Ｂと点Ｃとを結ぶ線分の長さａは距離Ｂとステレオカメラ３の画角、及び画面上の画素の位置から計測できる。点Ｃと点Ａとを結ぶ線分の長さｂは（距離Ａ－距離Ｂ）となる。この場合、生成部１４は、点Ａと点Ｂを通る直線と線分ＢＣとが成す角度θを以下の式から算出する。
tan-1 b/a = θ …（式１）
ａとｂとの比が１であるとすると、θ＝４５°となる。従って、生成部１４は、魚の側面とカメラの撮像面とが正対するようにステレオカメラ３のカメラレンズ面を４５°反時計回りに回転させるべきことを判定する。よって、生成部１４は、ステレオカメラ３の角度を反時計回りに４５°回転させるように指示するためのサイン（矢印など）や文章を補助情報として生成する。
魚の殆どは背びれを上、腹びれを下に向けて泳ぐ習性があるため、魚の尾（点Ａ）と魚の口先（点Ｂ）とを用いることで魚の側面は算出できる。しかしながら、海流の影響などで、魚体とカメラのレンズ面との傾きを考慮する必要がある場合、魚の背びれの点とカメラとの間の距離Ｃ、腹びれの点とカメラとの間の距離Ｄに対しても上記の式１を用いて角度を算出することで、より正確に側面を判断することができる。この他、判断部１３に負荷をかけたくない場合は、検知部１２は、魚の側面の正対画像を学習することにより作成した学習モデルを用いて、カメラの撮像面に正対する状態の魚を検知することもできる。これによりステレオカメラ３側に極端に傾いた魚の画像は検知部１２が判断部１３に送信しないように設定することが可能である。
判断部１３は、同一の魚を撮影した複数の画像を用いて、魚の進行方向を判断してもよい。例えば、ステレオカメラ３は、図９に示す画像を所定間隔で複数回、例えば毎秒１２フレーム撮影する。図１０はそのうちの連続する３フレームを示したものである。図１０を見ると右側の１フレーム目から３フレーム目に向かって、口先を示す点Ｂとステレオカメラ３のレンズ面との距離Ｂが狭まっているのが分かる。この場合、判断部１３は、魚の進行方向がカメラ側の奥行き方向、即ち魚はカメラに向かって泳いでいると判断する。逆に、口先を示す点Ｂとステレオカメラ３のレンズ面との距離Ｂが広がっていると、判断部１３は、魚の進行方向はカメラと逆の奥行き方向、即ちカメラから離れる方向に泳いでいると判断する。魚の群れの画像の場合、判断部１３は上記の処理を画像に映っている魚の数分繰り返し、最も多くの魚が向いている方向や、複数の魚の向きの平均を、群れの進行方向と判断しても良い。判断部１３は、同一の魚群を撮影した複数の画像を用いて、すでに方向検出処理の完了した魚体の画像を当該方向検出処理の対象から外す（削除する）ようにしてもよい。
生成部１４は、生成した補助情報を出力部１５に送信する。補助情報には上述した魚や魚群の進行方向を含めても良い。
出力部１５は、魚とステレオカメラ３との位置関係に基づいて、当該魚の側面と当該ステレオカメラ３の撮像面とが正対するようにステレオカメラ３を移動させるための補助情報を出力する。出力部１５は、検知部１２、判断部１３、生成部１４から検知結果、判断結果および補助情報を受け取り、有線又は無線の通信を介してこれらを端末２に送信する。尚、出力部１５はステレオカメラ３から受信する水中の画像も、上記の検知結果、判断結果および補助情報とともに端末２に送信する。この際、出力部１５は画像と上記の検知結果、判断結果および補助情報とを重畳して送信してもよい。
大きさ推定部１６は、記憶部１７に格納された魚の正対画像を基に、生簀内の魚の大きさを推定する。大きさ推定部１６は、検知部１２で検知した画像内の魚の特徴点に基づいて当該魚の大きさを示す情報を算出する。大きさを示す情報とは、例えば、尾叉長、体長、体高、重量である。大きさ推定部１６は、魚の口先端位置を示す特徴点Ｐ１および尾びれ付け根位置を示す特徴点Ｐ２の３次元座標に基づいて尾叉長を、および、背びれ前方付け根位置を示す特徴点Ｐ３および腹びれ前方付け根位置を示す特徴点Ｐ４の３次元座標に基づいて体高を算出する。更に大きさ推定部１６は、魚の重量を算出する重量算出式に、算出された尾叉長と体高とを変数として入力し、重量を算出する。
（（端末））
端末２は、魚の撮影を行うユーザが所持する携帯通信端末である。図１においてはタブレット端末型となっているが、出力手段としてヘッドマウントディスプレイ装置やスピーカ、入力装置としてマイクなどを備えている装着型ヘッドセットであってもよい。
端末２は、図１１に示すように、データ入力部２１、命令入力部２２、制御部２３、出力部２４および記憶部２５を備える。データ入力部２１は、サーバ装置１から画像、通知および補助情報を受信する。制御部２３は、端末のデータ入出力処理を制御する。出力部２４は、画像、通知および補助情報を出力するためのディスプレイ装置である。命令入力部２２は、出力部２４に表示されるアイコン等を介してユーザから次の指示を受け付ける。記憶部２５は、サーバ装置１から受信する画像、通知および補助情報を一時記憶するためのメモリである。
データ入力部２１が、サーバ装置１から画像、通知および補助情報を受信すると、制御部２３は、これらを出力部２４に出力する。ユーザは出力された画像、通知および補助情報を基に、図１に示すクレーン部８やカメラ位置制御部５を介してステレオカメラ３の水中での位置を調整する。
（水中生物撮影システムの動作）
水中生物撮影システム１００の動作について、図１２に示すフローチャートを参照して説明する。以下の説明においては、図１に示すように、ユーザの船が生簀内の水面におり、ステレオカメラ３はカメラ支持部７に取り付け後クレーン部８に吊り下げられて水中に存在し、カメラ位置調整部６にて調整可能に設定されているものとする。
まずステップＳ１０１において、サーバ装置１の入力部１１が、水中のステレオカメラ３が撮影した画像を取得する。取得した画像は検知部１２に送信される。
ステップＳ１０２において、検知部１２が取得する画像内の魚の写り込みを検知する。魚の写りこみを検知できない場合、検知部１２は出力部１５に当該検知結果を通知し、処理はステップＳ１０５に進められる。魚の写りこみを検知した場合、処理はステップＳ１０３へ進められる。
ステップＳ１０３において、判断部１３は、ステレオカメラ３と魚との位置関係を判断する。具体的には、判断部１３は、魚の側面とステレオカメラ３の撮像面とが正対するか否かを判断する。判断の結果、魚の側面とステレオカメラ３の撮像面とが正対する場合、判断部１３は、ステレオカメラ３から取得した画像が大きさ推定に適した画像であると判断する（ステップＳ１０６）。魚の側面とステレオカメラ３の撮像面とが正対しない場合、生成部１４は補助情報を生成し（ステップＳ１０４）、出力部１５に補助情報を出力する（ステップＳ１０５）。
ステップＳ１０４において、生成部１４は、魚の側面とステレオカメラ３の撮像面とが正対するための補助情報を生成する。
ステップＳ１０５において、出力部１５は、魚の画像、補助情報、上記の検知結果および判断結果（通知）を端末２に対して出力する。判断部１３から補助情報を受けた場合、出力部１５は、例えば図１３に示す魚の側面とステレオカメラ３の撮像面とを正対する位置にステレオカメラ３を移動させるための補助情報「カメラを４５度、左水平方向に回してください」を端末２に出力する。補助情報はユーザにとって理解しやすいことが好ましい。このため、出力部１５は、ステレオカメラ３を動かすべき方向と動かすべき角度をカメラ位置調整部６の動作に変換して端末２に出力することで、表示部２ａに補助情報を表示させてもよい。例えば、カメラ位置調整部６がハンドルである場合「ハンドルを左に１５度回してください」のように表示部２ａに提示する。また、ユーザがステレオカメラ３の是正操作を所定回数行ったにもかかわらず画像内に所定大きさ以上かつ所定数以上の魚の写りこみを検知できない場合は、現在の船の位置近辺には魚が存在しないと考えられる。この場合、出力部１５は、表示部２ａに船の移動を提案するような提示を行ってもよい。
この後、ユーザが端末２の表示部２ａに提示される通知や補助情報を閲覧し、調整部４を操作してステレオカメラ３の位置を調整した場合、魚の側面の正対画像が撮影されるまで、再度ステップＳ１０１～Ｓ１０５の処理は、実行される。再実行のタイミングは、ステレオカメラ３が撮影する画像の違いを検知部１２が検知したときに自動的に行っても良いし、ユーザが端末２を介して再度撮影の補助をリクエストし、それをサーバ装置１が受信してからでもよい。
尚、側面の画像の録画映像は記憶部１７に格納され、大きさ推定部１６は、記憶部１７に格納される魚の映像または画像を基に、生簀内の魚の大きさを推定する。
以上で、水中生物撮影システム１００の動作の説明を終了する。
（第１の実施形態の効果）
本実施形態によれば、水中生物の大きさを推定するにあたり当該推定に適した魚の画像を撮影することができる。その理由は、判断部１３が検知部１２により検知された魚の側面とステレオカメラ３の撮像面とが正対する位置関係にあるかを判断し、出力部１５が上記の位置関係になるまでステレオカメラ３を移動させるための補助情報をユーザに出力するからである。
＜第２の実施形態＞
本開示の第２の実施形態における水中生物撮影支援装置３０は、図１４に示すように、検知部３１、判断部３２および出力部３３を備える。水中生物撮影支援装置３０は第１の実施形態におけるサーバ装置１の最小構成例である。
検知部３１は、カメラより取得する画像から水中生物を検知する。判断部３２は、検知部３１により検知された水中生物とカメラとの位置関係を判断する。出力部３３は、位置関係に基づいて、水中生物の側面とカメラの撮像面とが正対するようにカメラを移動させるための補助情報を出力する。
本開示の第２の実施形態によると、水中生物の大きさを推定するにあたり当該推定に適した魚の画像を撮影することができる。その理由は、判断部３２が、検知部３１により検知された水中生物とカメラとの位置関係を判断し、当該位置関係に基づいて、水中生物の側面とカメラの撮像面とが正対するようにカメラを移動させるための補助情報を出力部３３が出力するからである。
（情報処理装置）
上述した本発明の各実施形態において、図２、１１、１４等に示すサーバ装置、携帯通信端末、水中生物撮影支援装置（以下、水中生物撮影支援装置等と記載）における各構成要素の一部又は全部は、例えば図１５に示すような情報処理装置５００とプログラムとの任意の組み合わせを用いて実現することも可能である。情報処理装置５００は、一例として、以下のような構成を含む。
・ＣＰＵ５０１
・ＲＯＭ５０２
・ＲＡＭ５０３
・プログラム５０４および他のデータを格納する記憶装置５０５
・記憶媒体５０６の読み書きを行うドライブ装置５０７
・通信ネットワーク５０９と接続する通信インターフェース５０８
・データの入出力を行う入出力インターフェース５１０
・各構成要素を接続するバス５１１
本願の各実施形態における水中生物撮影支援装置等の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。水中生物撮影支援装置等の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記憶媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。
各装置の実現方法には、様々な変形例がある。例えば、水中生物撮影支援装置等は、構成要素毎にそれぞれ別個の情報処理装置とプログラムとの任意の組み合わせにより実現されてもよい。また、水中生物撮影支援装置等が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。
また、水中生物撮影支援装置等の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
水中生物撮影支援装置等の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
水中生物撮影支援装置等の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバ装置システム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
カメラより取得する画像から水中生物を検知する検知手段と、
前記検知手段により検知された前記水中生物と前記カメラとの位置関係を判断する判断手段と、
前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する出力手段
とを備える水中生物撮影支援装置。
［付記２］
前記判断手段は、前記水中生物に関して検出された対応関係にある特徴点のそれぞれと前記カメラとの距離の差が所定の範囲内にある場合、前記水中生物と前記カメラの撮像面とが正対すると判断する
付記１に記載の水中生物撮影支援装置。
［付記３］
前記検知手段が複数の前記水中生物を検知すると、前記判断手段は検知された複数の前記水中生物と前記カメラとの前記位置関係を判断する
付記１または付記２に記載の水中生物撮影支援装置。
［付記４］
前記判断手段は、複数の前記水中生物と前記カメラとのそれぞれの位置関係の平均に基づいて、複数の前記水中生物と前記カメラの撮像面とが正対するかを判断する
付記１乃至付記３のいずれかに記載の水中生物撮影支援装置。
［付記５］
前記判断手段は、複数の前記水中生物のそれぞれに対して求められた前記差の平均が所定の範囲内である場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記２に記載の水中生物撮影支援装置。
［付記６］
前記判断手段は、複数の前記水中生物と前記カメラとのそれぞれの位置関係に基づいて、複数の前記水中生物のうちの所定数以上の前記水中生物の側面と前記カメラの撮像面とが正対する場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記１乃至付記３のいずれかに記載の水中生物撮影支援装置。
［付記７］
前記判断手段は、前記位置関係を判断する際に、前記カメラの撮像するエリアのうち所定の領域に検知した前記水中生物の情報に重みづけする
付記１乃至付記６のいずれかに記載の水中生物撮影支援装置。
［付記８］
前記判断手段は、前記判断において、同一の前記水中生物を含む複数の画像を用いる
付記１乃至付記７のいずれかに記載の水中生物撮影支援装置。
［付記９］
前記判断手段は、前記カメラの光軸と前記水中生物の側面とが垂直又は略垂直に交わるとき、前記水中生物の側面と前記カメラの撮像面とが正対する位置にあると判断する
付記１乃至付記８のいずれかに記載の水中生物撮影支援装置。
［付記１０］
前記判断手段が前記水中生物または複数の前記水中生物の側面と前記カメラの撮像面とが正対すると判断するまで、前記検知手段による検知、前記判断手段による判断および前記出力手段による出力を繰り返す
付記１に記載の水中生物撮影支援装置。
［付記１１］
前記補助情報は、前記カメラの制御者に対し、前記水中生物の側面と前記カメラとが正対する位置まで前記カメラを移動させる指示を含む
付記１に記載の水中生物撮影支援装置。
［付記１２］
付記１乃至付記１１に記載の水中生物撮影支援装置と、
水中を撮影するカメラと、
前記水中生物撮影支援装置が出力する、水中生物の側面を撮影するための補助情報を表示する表示装置
とを備える水中生物撮影支援システム。
［付記１３］
前記補助情報に基づいて、前記カメラを調整するカメラ調整装置を更に備える
付記１２に記載の水中生物撮影支援システム。
［付記１４］
カメラより取得する画像から水中生物を検知し、
検知された前記水中生物と前記カメラとの位置関係を判断し、
前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する
ことを備える水中生物撮影支援方法。
［付記１５］
前記判断において、前記水中生物に関して検出された対応関係にある特徴点のそれぞれと前記カメラとの距離の差が所定の範囲内にある場合、前記水中生物と前記カメラの撮像面とが正対すると判断する
付記１４に記載の水中生物撮影支援方法。
［付記１６］
複数の前記水中生物を検知すると、前記判断において、検知された複数の前記水中生物と前記カメラとの前記位置関係を判断する
付記１４または付記１５に記載の水中生物撮影支援方法。
［付記１７］
前記判断において、複数の前記水中生物と前記カメラとのそれぞれの位置関係の平均に基づいて、複数の前記水中生物と前記カメラの撮像面とが正対するかを判断する
付記１４至付記１６のいずれかに記載の水中生物撮影支援方法。
［付記１８］
前記判断において、複数の前記水中生物のそれぞれに対して求められた前記差の平均が所定の範囲内である場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記１５に記載の水中生物撮影支援方法。
［付記１９］
前記判断において、複数の前記水中生物と前記カメラとのそれぞれの位置関係に基づいて、複数の前記水中生物のうちの所定数以上の前記水中生物の側面と前記カメラの撮像面とが正対する場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記１４乃至付記１６のいずれかに記載の水中生物撮影支援方法。
［付記２０］
前記判断において、前記位置関係を判断する際に、前記カメラの撮像するエリアのうち所定の領域に検知した前記水中生物の情報に重みづけする
付記１４乃至付記１９のいずれかに記載の水中生物撮影支援方法。
［付記２１］
前記判断において、同一の前記水中生物を含む複数の画像を用いる
付記１４乃至付記２０のいずれかに記載の水中生物撮影支援方法。
［付記２２］
前記判断において、前記カメラの光軸と前記水中生物の側面とが垂直又は略垂直に交わるとき、前記水中生物の側面と前記カメラの撮像面とが正対する位置にあると判断する
付記１４乃至付記２１のいずれかに記載の水中生物撮影支援方法。
［付記２３］
前記判断において、前記水中生物または複数の前記水中生物の側面と前記カメラの撮像面とが正対すると判断するまで、前記検知、前記判断および前記出力を繰り返す
付記１４に記載の水中生物撮影支援方法。
［付記２４］
前記補助情報は、前記カメラの制御者に対し、前記水中生物の側面と前記カメラとが正対する位置まで前記カメラを移動させる指示を含む
付記１４に記載の水中生物撮影支援方法。
［付記２５］
カメラより取得する画像から水中生物を検知し、
検知された前記水中生物と前記カメラとの位置関係を判断し、
前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する
ことをコンピュータに実現させるための水中生物撮影支援プログラムを格納する記憶媒体。
［付記２６］
前記判断において、前記水中生物に関して検出された対応関係にある特徴点のそれぞれと前記カメラとの距離の差が所定の範囲内にある場合、前記水中生物と前記カメラの撮像面とが正対すると判断する
付記２５に記載の記憶媒体。
［付記２７］
複数の前記水中生物を検知すると、前記判断において、検知された複数の前記水中生物と前記カメラとの前記位置関係を判断する
付記２５または付記２６に記載の記憶媒体。
［付記２８］
前記判断において、複数の前記水中生物と前記カメラとのそれぞれの位置関係の平均に基づいて、複数の前記水中生物と前記カメラの撮像面とが正対するかを判断する
付記２５乃至付記２７のいずれかに記載の記憶媒体。
［付記２９］
前記判断において、複数の前記水中生物のそれぞれに対して求められた前記差の平均が所定の範囲内である場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記２６に記載の記憶媒体。
［付記３０］
前記判断において、複数の前記水中生物と前記カメラとのそれぞれの位置関係に基づいて、複数の前記水中生物のうちの所定数以上の前記水中生物の側面と前記カメラの撮像面とが正対する場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記２５乃至付記２７のいずれかに記載の記憶媒体。
［付記３１］
前記判断において、前記位置関係を判断する際に、前記カメラの撮像するエリアのうち所定の領域に検知した前記水中生物の情報に重みづけする
付記２５乃至付記３０のいずれかに記載の記憶媒体。
［付記３２］
前記判断において、同一の前記水中生物を含む複数の画像を用いる
付記２５乃至付記３１のいずれかに記載の記憶媒体。
［付記３３］
前記判断において、前記カメラの光軸と前記水中生物の側面とが垂直又は略垂直に交わるとき、前記水中生物の側面と前記カメラの撮像面とが正対する位置にあると判断する
付記２５乃至付記３２のいずれかに記載の記憶媒体。
［付記３４］
前記判断において、前記水中生物または複数の前記水中生物の側面と前記カメラの撮像面とが正対すると判断するまで、前記検知、前記判断および前記出力を繰り返す
付記２５に記載の記憶媒体。
［付記３５］
前記補助情報は、前記カメラの制御者に対し、前記水中生物の側面と前記カメラとが正対する位置まで前記カメラを移動させる指示を含む
付記２５に記載の記憶媒体。
以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１ サーバ装置
２ 端末
２ａ 表示部
３ ステレオカメラ
４ 調整部
５ カメラ位置制御部
６ カメラ位置調整部
７ カメラ支持部
８ クレーン部
１１ 入力部
１２ 検知部
１３ 判断部
１４ 生成部
１５ 出力部
１６ 大きさ推定部
１７ 記憶部
２１ データ入力部
２２ 命令入力部
２３ 制御部
２４ 出力部
２５ 記憶部
３０ 水中生物撮影支援装置
３１ 検知部
３２ 判断部
３３ 出力部
１００ 水中生物撮影システム
５００ 情報処理装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記憶媒体
５０７ ドライブ装置
５０８ 通信インターフェース
５０９ 通信ネットワーク
５１０ 入出力インターフェース
５１１ バス

Claims (10)

  1. カメラより取得する画像から水中生物を検知する検知手段と、
    前記検知手段が複数の前記水中生物を検知すると、検知された複数の前記水中生物と前記カメラとの位置関係を判断する判断手段と、
    前記位置関係に基づいて、複数の前記水中生物からなる群れの側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する出力手段とを備える水中生物撮影支援装置。
  2. 前記判断手段は、前記水中生物に関して検出された対応関係にある特徴点のそれぞれと前記カメラとの距離の差が所定の範囲内にある場合、前記水中生物の側面と前記カメラの撮像面とが正対すると判断する請求項１に記載の水中生物撮影支援装置。
  3. 前記判断手段は、複数の前記水中生物と前記カメラとのそれぞれの位置関係の平均に基づいて、複数の前記水中生物からなる群れの側面と前記カメラの撮像面とが正対するかを判断する請求項１または請求項２に記載の水中生物撮影支援装置。
  4. 前記判断手段は、複数の前記水中生物のそれぞれに対して求められた前記差の平均が所定の範囲内である場合、複数の前記水中生物からなる群れの側面と前記カメラの撮像面は正対すると判断する請求項２に記載の水中生物撮影支援装置。
  5. 前記判断手段は、複数の前記水中生物と前記カメラとのそれぞれの位置関係に基づいて、複数の前記水中生物のうちの所定数以上の前記水中生物の側面と前記カメラの撮像面とが正対する場合、複数の前記水中生物からなる群れの側面と前記カメラの撮像面は正対すると判断する請求項１または請求項２に記載の水中生物撮影支援装置。
  6. 前記判断手段は、前記位置関係を判断する際に、前記カメラの撮像するエリアのうち、前記水中生物の大きさ推定を行うのに適した前記カメラからの距離の範囲に検知した前記水中生物の情報に重みづけする請求項１乃至請求項５のいずれかに記載の水中生物撮影支援装置。
  7. 前記判断手段は、前記カメラの光軸と前記水中生物の側面とが垂直又は略垂直に交わるとき、前記水中生物の側面と前記カメラの撮像面とが正対する位置にあると判断する請求項１乃至請求項６のいずれかに記載の水中生物撮影支援装置。
  8. 前記判断手段が前記水中生物または複数の前記水中生物の側面と前記カメラの撮像面とが正対すると判断するまで、前記検知手段による検知、前記判断手段による判断および前記出力手段による出力を繰り返す請求項１に記載の水中生物撮影支援装置。
  9. カメラより取得する画像から水中生物を検知し、
    複数の前記水中生物が検知されると、検知された複数の前記水中生物と前記カメラとの位置関係を判断し、
    前記位置関係に基づいて、複数の前記水中生物からなる群れの側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力することを備える水中生物撮影支援方法。
  10. カメラより取得する画像から水中生物を検知し、
    複数の前記水中生物が検知されると、検知された複数の前記水中生物と前記カメラとの位置関係を判断し、
    前記位置関係に基づいて、複数の前記水中生物からなる群れの側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力することをコンピュータに実現させるための水中生物撮影支援プログラム。
JP2021566676A 2019-12-26 2019-12-26 水中生物撮影支援装置、水中生物撮影支援方法および水中生物撮影支援プログラム Active JP7435625B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/051082 WO2021130950A1 (ja) 2019-12-26 2019-12-26 水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体

Publications (3)

Publication Number Publication Date
JPWO2021130950A1 JPWO2021130950A1 (ja) 2021-07-01
JPWO2021130950A5 JPWO2021130950A5 (ja) 2022-08-17
JP7435625B2 true JP7435625B2 (ja) 2024-02-21

Family

ID=76573778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021566676A Active JP7435625B2 (ja) 2019-12-26 2019-12-26 水中生物撮影支援装置、水中生物撮影支援方法および水中生物撮影支援プログラム

Country Status (3)

Country Link
US (1) US20230045358A1 (ja)
JP (1) JP7435625B2 (ja)
WO (1) WO2021130950A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023162785A (ja) * 2022-04-27 2023-11-09 ソフトバンク株式会社 情報処理プログラム、情報処理装置及び情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014017865A (ja) 2012-06-12 2014-01-30 Olympus Imaging Corp 撮像装置及び撮影時の姿勢判定方法
JP2017181766A (ja) 2016-03-30 2017-10-05 Kddi株式会社 水中監視装置、水上通信端末、及び水中監視システム
WO2019188506A1 (ja) 2018-03-26 2019-10-03 日本電気株式会社 情報処理装置、物体計測システム、物体計測方法およびプログラム記憶媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104931091B (zh) * 2015-06-24 2016-12-21 金陵科技学院 一种仿生机器鱼用测量平台及其使用方法
CN104996370A (zh) * 2015-07-25 2015-10-28 朱秀娈 基于数据通信的水下鱼体定向捕获***
CN105028357A (zh) * 2015-07-25 2015-11-11 李学新 基于图像处理的水下鱼体捕捞平台
CN105028356A (zh) * 2015-07-25 2015-11-11 李学新 一种基于图像处理的水下鱼体捕捞方法
CN105046228A (zh) * 2015-07-25 2015-11-11 张丽 一种基于数据通信的鱼体识别方法
CN104967833B (zh) * 2015-07-25 2016-11-16 盛泽明 一种基于数据通信的捕鱼方法
WO2018061927A1 (ja) * 2016-09-30 2018-04-05 日本電気株式会社 情報処理装置、情報処理方法およびプログラム記憶媒体
JP6879375B2 (ja) * 2017-09-04 2021-06-02 日本電気株式会社 情報処理装置、長さ測定システム、長さ測定方法およびコンピュータプログラム
US20210329891A1 (en) * 2020-04-27 2021-10-28 Ecto, Inc. Dynamic laser system reconfiguration for parasite control
US11532153B2 (en) * 2020-07-06 2022-12-20 Ecto, Inc. Splash detection for surface splash scoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014017865A (ja) 2012-06-12 2014-01-30 Olympus Imaging Corp 撮像装置及び撮影時の姿勢判定方法
JP2017181766A (ja) 2016-03-30 2017-10-05 Kddi株式会社 水中監視装置、水上通信端末、及び水中監視システム
WO2019188506A1 (ja) 2018-03-26 2019-10-03 日本電気株式会社 情報処理装置、物体計測システム、物体計測方法およびプログラム記憶媒体

Also Published As

Publication number Publication date
JPWO2021130950A1 (ja) 2021-07-01
US20230045358A1 (en) 2023-02-09
WO2021130950A1 (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
JP7004094B2 (ja) 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム
CA3227808A1 (en) Sensor positioning system
Williams et al. Use of stereo camera systems for assessment of rockfish abundance in untrawlable areas and for recording pollock behavior during midwater trawls
WO2019232247A1 (en) Biomass estimation in an aquaculture environment
CN109640641B (zh) 投饵***、图像处理装置及图像处理方法
JP6624629B2 (ja) 魚計数装置、魚計数方法、魚数の予測装置、魚数の予測方法、魚計数システムおよび魚数予測システム
JP7001145B2 (ja) 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム
TW202032969A (zh) 魚監視系統及相機單元
KR102181649B1 (ko) 3자 시점 카메라를 갖는 스마트 수중 드론 시스템
JP6981531B2 (ja) 物体同定装置、物体同定システム、物体同定方法およびコンピュータプログラム
JP6816773B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP6879375B2 (ja) 情報処理装置、長さ測定システム、長さ測定方法およびコンピュータプログラム
JP2017072986A (ja) 自律飛行装置、自律飛行装置の制御方法及びプログラム
JP7207561B2 (ja) 大きさ推定装置、大きさ推定方法および大きさ推定プログラム
JP7435625B2 (ja) 水中生物撮影支援装置、水中生物撮影支援方法および水中生物撮影支援プログラム
JP2019211257A (ja) 検査システム
JP2020110138A (ja) 魚監視システム及びカメラユニット
JP2023548002A (ja) 水産養殖のための画像処理に基づく重量推定
CN111935389B (zh) 拍摄对象切换方法、装置、拍摄设备及可读存储介质
JPWO2018061928A1 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
JP7350181B2 (ja) 動的監視のためのカメラウインチ制御
WO2021130893A1 (ja) 移動速度推定装置、給餌判定装置、移動速度推定システム、給餌制御システム、移動速度推定方法、及び、移動速度推定プログラムが格納された記録媒体
JP7436637B2 (ja) 撮影装置、撮影方法及びプログラム
JP7323234B2 (ja) ガイド方法
JP2019125946A (ja) 制御装置、撮像装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240122

R151 Written notification of patent or utility model registration

Ref document number: 7435625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151