JP2019114923A - 画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 - Google Patents

画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 Download PDF

Info

Publication number
JP2019114923A
JP2019114923A JP2017246910A JP2017246910A JP2019114923A JP 2019114923 A JP2019114923 A JP 2019114923A JP 2017246910 A JP2017246910 A JP 2017246910A JP 2017246910 A JP2017246910 A JP 2017246910A JP 2019114923 A JP2019114923 A JP 2019114923A
Authority
JP
Japan
Prior art keywords
image
unit
image recording
color
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017246910A
Other languages
English (en)
Other versions
JP7165320B2 (ja
Inventor
三輪 哲也
Tetsuya Miwa
哲也 三輪
リンズィー ドゥーグル
J Lindsay Dhugal
リンズィー ドゥーグル
下田代 雅文
Masafumi Shimotashiro
雅文 下田代
高橋 弘
Hiroshi Takahashi
弘 高橋
敦 新井
Atsushi Arai
敦 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Agency for Marine Earth Science and Technology
Okamoto Glass Co Ltd
Original Assignee
Japan Agency for Marine Earth Science and Technology
Okamoto Glass Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Agency for Marine Earth Science and Technology, Okamoto Glass Co Ltd filed Critical Japan Agency for Marine Earth Science and Technology
Priority to JP2017246910A priority Critical patent/JP7165320B2/ja
Priority to US16/954,494 priority patent/US11423947B2/en
Priority to CN201880081460.8A priority patent/CN111492649B/zh
Priority to EP18891589.6A priority patent/EP3729798A4/en
Priority to PCT/JP2018/046228 priority patent/WO2019124287A1/en
Publication of JP2019114923A publication Critical patent/JP2019114923A/ja
Application granted granted Critical
Publication of JP7165320B2 publication Critical patent/JP7165320B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/08Waterproof bodies or housings
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2211/00Applications
    • B63B2211/02Oceanography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2241/00Design characteristics
    • B63B2241/02Design characterised by particular shapes
    • B63B2241/10Design characterised by particular shapes by particular three dimensional shapes
    • B63B2241/14Design characterised by particular shapes by particular three dimensional shapes spherical
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0514Separate unit
    • G03B2215/0517Housing
    • G03B2215/0542Housing watertight
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0514Separate unit
    • G03B2215/0557Multiple units, e.g. slave-unit
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0564Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567Solid-state light source, e.g. LED, laser

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】海中で複数のカメラが生成した動画同士の時刻を同期させて記録媒体に記録することができる画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置を提供する。【解決手段】画像記録方法は、情報処理装置が実行する画像記録方法であって、第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、カメラごとに取得するステップと、時系列で隣り合うフレーム同士の輝度の差を、動画ごとに検出するステップと、差に基づいてフレームの時刻を動画同士で対応付けるステップと、時刻が対応付けられた各動画を記録媒体に記録するステップとを含む。【選択図】図1

Description

本発明は、画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置に関する。
画像記録装置は、海底に長期間留まり、海底における生態を調査するための動画を撮影する場合がある。深海は暗闇であるため、撮影対象の生物の正確な色を人が把握するには、画像記録装置は白色照明を点灯した状態で生物を撮影する必要がある。また、画像記録装置は、自装置の消費電力を低減する目的で、白色照明を間欠的に点灯する。画像記録装置は、白色照明の点灯に同期して撮影を開始する。
特開2003−69864号公報 特開2016−89026号公報 国際公開第2014/171513号 特開2012−245944号公報 特公昭49−013196号公報
画像記録装置が白色照明を急に点灯した場合、撮影対象の生物は、白色照明に反応して急に動き出す可能性がある。急に動き出して撮影画角から外れた生物をカメラは撮影することができないので、従来の画像記録装置は、海底における生態を正確に表す画像を記録することができない。
また、画像記録装置は、白色照明を点灯しない代わりに高感度カメラで生物を撮影した場合、高感度カメラによる消費電力が多いのでバッテリが消耗し、海底に長期間留まることができない。このため、画像記録装置は、消費電力が少ないカメラと白色照明とを使用して、海底における生態を正確に表す画像を記録する必要がある。このように、従来の画像記録装置は、海底に長期間留まって、海底における生態を正確に表す画像を記録することができないという問題があった。
また、画像記録装置の複数のカメラが海中で生成した各動画は、カメラ同士で時刻同期されることなく、カメラごとの記憶部に記録される。このため、従来の情報処理装置は、複数のカメラが海中で生成した各動画を取得しても、動画同士の時刻を同期させて記録媒体に記録することができないという問題があった。
上記事情に鑑み、本発明は、海中で複数のカメラが生成した動画同士の時刻を同期させて記録媒体に記録することができる画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置を提供することを目的としている。
本発明の一態様は、情報処理装置が実行する画像記録方法であって、第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得するステップと、前記動画において時系列で隣り合うフレーム同士の輝度の差を、前記動画ごとに検出するステップと、前記差に基づいてフレームの時刻を前記動画同士で対応付けるステップと、時刻が対応付けられた前記各動画を記録媒体に記録するステップとを含む画像記録方法である。
本発明の一態様は、上記の画像記録方法であって、前記対応付けるステップでは、時系列で隣り合うフレーム同士の輝度の差が閾値以上となったフレームの時刻を動画同士で対応付ける。
本発明の一態様は、上記の画像記録方法であって、前記記録するステップでは、前記各動画と各メタデータとを時刻で対応付けて記録媒体に記録する。
本発明の一態様は、上記の画像記録方法であって、前記取得するステップでは、複数の前記第1照明のうちの少なくとも一つは、いずれかの前記第1照明が前記第1の色で点灯した後に、前記第1の色及び前記第2の色以外の第3の色で点灯し、前記第2照明は、前記第1照明が前記第3の色で点灯した後に、前記第2の色で点灯する。
本発明の一態様は、上記の画像記録方法であって、前記第1の色は、青色以外の特定色であり、前記第2の色は、白色であり、前記第3の色は、前記第1の色以外の色であって青色以外の特定色である。
本発明の一態様は、コンピュータに、第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得する手順と、前記動画において時系列で隣り合うフレーム同士の輝度の差を前記動画ごとに検出する手順と、前記差に基づいてフレームの時刻を前記動画同士で対応付ける手順と、時刻が対応付けられた各動画を記録媒体に記録する手順とを実行させるための画像記録プログラムである。
本発明の一態様は、第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得する取得部と、前記動画において時系列で隣り合うフレーム同士の輝度の差を動画ごとに検出する検出部と、前記差に基づいてフレームの時刻を前記動画同士で対応付けるリンク部と、時刻が対応付けられた前記各動画を記録媒体に記録する制御部とを備える情報処理装置である。
本発明の一態様は、海中で被写体を撮影するカメラ部と、第1の色で点灯する第1照明を有する第1照明部と、前記カメラ部によって生成された画像を記憶する記憶部と、前記カメラ部が撮影を開始した後、前記第1照明を点灯する制御部とを備える画像記録装置である。
本発明の一態様は、上記の画像記録装置であって、第2の色で点灯する第2照明を有する第2照明部を更に備え、前記制御部は、前記第1照明部を点灯してから所定時間の経過後、前記第2照明を点灯する。
本発明の一態様は、上記の画像記録装置であって、前記第1照明部は、所定の基準間隔で配列されている複数の前記第1照明を有し、前記カメラ部は、複数の前記第1照明と前記被写体とを撮影する。
本発明の一態様は、上記の画像記録装置であって、前記カメラ部は、複数のカメラを備え、複数の前記カメラは、互いに異なる方向から前記被写体を撮影する。
本発明の一態様は、上記の画像記録装置であって、前記カメラ部は、海底に投影された自装置の影を撮影する。
本発明の一態様は、上記の画像記録装置であって、前記記憶部は、撮影時刻情報、自装置の緯度、経度及び水深のうちの少なくとも一つを、前記画像に対応付けて記憶する。
本発明により、海中で複数のカメラが生成した動画同士の時刻を同期させて記録媒体に記録することが可能である。
第1実施形態における、画像記録システムの構成の例を示す図である。 第1実施形態における、画像記録装置の外観の例を示す図である。 第1実施形態における、特定色照明部の外観の例を示す図である。 第1実施形態における、白色照明部の外観の例を示す図である。 第1実施形態における、カメラ部の外観の第1例を示す図である。 第1実施形態における、カメラ部の外観の第2例を示す図である。 第1実施形態における、撮影範囲の例を示す図である。 第1実施形態における、カメラ配置情報の形式の例を示す図である。 第1実施形態における、CTDデータの形式の例を示す図である。 第1実施形態における、撮影対象の生物である被写体の長さの例を示す図である。 第1実施形態における、画像記録装置の動作の例を示すシーケンス図である。 第1実施形態における、動画ファイルの例を示す図である。 第1実施形態における、動画ファイルの生成手順の例を示す図である。 第2実施形態における、画像記録システムの構成の例を示す図である。 第2実施形態における、影の例を示す図である。 第2実施形態における、撮影された影の例を示す図である。
本発明の実施形態について、図面を参照して詳細に説明する。
(第1実施形態)
図1は、画像記録システム1aの構成の例を示す図である。画像記録システム1aは、海中環境(水中環境)の画像を記録するシステムである。海中環境の画像は、例えば、海洋生物の動画又は静止画である。画像記録システム1aは、画像記録装置2と、計測装置3aと、測位装置4とを備える。
画像記録装置2は、海中環境の画像を記録する装置(海中探査機)である。画像記録装置2は、海に沈められて、海底に長期間留まる。長期間とは、例えば1年間である。画像記録装置2は、海面に浮上後に母船に回収される。
計測装置3aは、情報処理装置である。計測装置3aは、CTD(Conductivity Temperature Depth:電気伝導度、温度、水深)等のメタデータと画像とを、母船に回収された画像記録装置2から取得する。計測装置3aは、画像記録装置2から取得された画像等に基づいて、所定の計測処理を実行する装置である。所定の計測処理は、例えば、画像記録装置2によって撮影された生物の長さ又は大きさを画像に基づいて計測する処理である。
測位装置4は、画像記録装置2の母船に設置される。測位装置4は、海中の画像記録装置2と自装置との間の音響通信によって、画像記録装置2と母船との間の距離を計測する。測位装置4は、母船から画像記録装置2までの距離と画像記録装置2の水深とに基づいて、海底における画像記録装置2の位置を計測する。なお、測位装置4は、画像記録装置2が母船に回収された後、画像記録装置2の記憶部に記憶されている水深データを用いた後処理によって、画像記録装置2の位置を確定してもよい。測位装置4は、画像記録装置2の位置情報を、画像のデータとは区別して記憶部に記録する。なお、測位装置4は、例えば人工衛星から送信された電波を用いて、母船の緯度及び経度を測位する。
次に、画像記録装置2の構成の例を説明する。
画像記録装置2は、通信球20と、トランスポンダ球と、トランスデューサ22と、錘23と、切り離し装置24と、アーム25と、照明球26と、撮影球27と、ケーブル28と、メタデータ生成装置29とを備える。
通信球20は、ラジオビーコン200を格納する。ラジオビーコン200は、画像記録装置2が海面に浮上している場合、電波を用いてビーコン信号を発信する。
トランスポンダ球21は、トランスポンダ210を格納する耐圧容器である。耐圧容器は、例えば、耐圧ガラス球である。トランスポンダ210は、音響トランスポンダである。トランスポンダ210は、母船に設置された測位装置4と自装置との間で音響通信を実行する。音響通信の結果は、例えば、母船と画像記録装置2との間の距離の計測に利用される。
トランスポンダ210は、母船から音響通信によって送信されたコマンド信号を取得する。コマンド信号は、例えば、海底に着地している錘23を画像記録装置2から切り離すための命令を表す信号である。トランスポンダ210は、母船から音響通信によって送信されたコマンド信号を取得した場合、音響通信によって応答信号を送信してもよい。
トランスデューサ22は、トランスポンダ210が取得したコマンド信号に応じて電気信号を生成する。トランスデューサ22は、コマンド信号に応じた電気信号を、撮影球27に備えられた制御部に出力する。トランスデューサ22は、撮影球27に備えられた制御部から取得した電気信号を増幅する。トランスデューサ22は、増幅された電気信号をトランスポンダ210に出力する。
図2は、画像記録装置2の外観の例を示す図である。浮力を有する画像記録装置2は、海底に着地している錘23に接続されていることによって、海底から所定の高度において垂直の姿勢を維持する。
切り離し装置24は、錘23を画像記録装置2から切り離すためのコマンド信号をトランスポンダ210が母船から取得した場合、撮影球27に備えられた制御部による制御に応じて錘23を切り離す。これによって、画像記録装置2は、海面まで浮上することができる。
アーム25は、餌台250と、特定色照明部251とを備える。餌台250は、撮影対象である生物の餌を備えるためのフレームである。特定色照明部251は、特定色で発光する照明を備える。特定色照明部251は、餌台250の近くに配置されている。
図3は、特定色照明部251の外観の例を示す図である。特定色照明部251の色は、例えば透明である。特定色照明部251の形状は、例えば管状である。特定色照明部251の管内には、シリコンオイルが注入されている。これによって、特定色照明部251は、高い水圧に耐えることができる。
特定色照明部251は、特定色照明252−1〜252−N(Nは2以上の整数。図3では、Nは一例として10)と、照明基板253と、電源端子254とを備える。特定色照明部251の長さは、例えば0.60mである。特定色照明252は、青色以外の特定色の照明である。青色以外の特定色の光の波長は、目安として例えば450〜495nm以外の波長である。青色以外の特定色とは、例えば赤色、黄色、橙色である。例えば、複数の特定色照明252のうちの少なくとも一つは、いずれかの特定色照明252が赤色で点灯した後に、赤色、青色及び白色以外の黄色で点灯する。
なお、特定色照明252が出力する光において青色の光の強度が青色以外の光の強度と比較して相対的に弱いのであれば、特定色照明252が出力する光に青色の光が含まれてもよい。
特定色照明252−n(nは1〜Nのいずれか)は、例えば、0.77Wの出力で発光する。したがって、特定色照明252−1〜252−10は、計7.7Wの出力で発光する。特定色照明252−1〜252−10の明るさは、例えば、計750(=75×10)lmである。
特定色照明252は、特定の方式の光源に限定されないが、例えば、赤色のLED(Light Emitting Diode)である。特定色照明252は、撮影球27に備えられた制御部による制御に応じて点灯又は消灯する。特定色照明252は、餌台250の近くに配置されているので、撮影対象の生物(被写体)の近くで発光する。多くの海洋生物は、青色の照明に高い感度を有する。このため、撮影対象の生物は、赤色又は黄色の照明に反応して急に動き出すことが少ない。
照明基板253は、所定の基準間隔(SC)で配列されている複数の特定色照明252(ライン光源)を備える。基準間隔は、例えば50mmである。隣り合う特定色照明252と撮影対象の生物とは、同じ画像(撮影画角)に含まれるように、カメラ部270によって撮影される。
これによって、図1に示された計測装置3aは、基準間隔の長さと撮影対象の生物の長さとを、カメラ部270によって生成された画像内において容易に比較することができる。計測装置3aは、基準間隔の長さと撮影対象の生物の長さとを画像内において比較した結果に基づいて、撮影対象の生物の長さ及び大きさを計測することができる。
図1に戻り、画像記録装置2の構成例の説明を続ける。照明球26は、白色照明部260を格納する耐圧容器である。白色照明部260は、白色照明261−1〜261−P(Pは1以上の整数)を備える。
図4は、白色照明部260の外観の例を示す図である。白色照明261(サーチライト)は、特定の方式の光源に限定されないが、例えば、赤色、緑色及び青色の各LEDである。白色照明部260は、例えば、青色のLEDと黄色蛍光体とを備える照明でもよい。白色照明261は、アーム25の餌台250及び周囲に白色の光を出力する。
白色照明261−p(pは1〜Pのいずれか。図4では、pは一例として5)が有する3灯のうちの1灯は、例えば、2.19Wの出力で発光する。したがって、白色照明261−1〜261−5は、例えば32.9(=2.19×3×5)Wの出力で発光する。白色照明261−1〜261−5の明るさは、例えば、405(=270×3×5)lmである。
図1に戻り、画像記録装置2の構成例の説明を続ける。撮影球27は、カメラ部270と、制御部273と、バッテリ274とを格納する耐圧容器である。カメラ部270は、カメラ271−1〜271−M(Mは2以上の整数)を備える。カメラ271−mは、画像データ記憶部272−m(mは2〜Mのいずれか)を備える。カメラ271の解像度は、例えば(3840×2160)である。複数のカメラ271は、ステレオカメラであり、互いに異なる方向から被写体を撮影する。これによって、複数のカメラ271は、撮影対象の生物を立体的に撮影することができる。
図5は、カメラ部270の外観の第1例を示す図である。カメラ271−1とカメラ271−2とは、水平方向に配列されたステレオカメラであり、互いに異なる水平方向から被写体を撮影する。カメラ271−1とカメラ271−2とが水平方向に配列されたステレオカメラである場合、図2及び図3に示された特定色照明部251は水平方向に配置される。
図6は、カメラ部270の外観の第2例を示す図である。カメラ271−1とカメラ271−2とは、垂直方向に配列されたステレオカメラであり、互いに異なる垂直方向から被写体を撮影する。カメラ271−1とカメラ271−2とが垂直方向に配列されたステレオカメラである場合、図2及び図3に示された特定色照明部251は垂直方向に配置されてもよい。なお、カメラ271−1とカメラ271−2とが垂直方向に配列されたステレオカメラである場合でも、特定色照明部251は、水平に配置されてよい。特定色照明部251の画像上での配置方向は、画像処理によって変更されてもよい。
図5及び図6では、カメラ271−3は直下視カメラであり、例えば画像記録装置2から下方向の海底を撮影する。カメラ271−3は、海底に着地している錘23を撮影してもよい。カメラ271のF値は、例えば6mmである。
図7は、撮影範囲(位置Aから位置Dまでの範囲)の例を示す図である。特定色照明部251は、制御部273による制御に応じて、青色以外の特定光を出力する。特定色照明部251は、青色以外の特定光を餌台250の周囲に出力する。白色照明261は、制御部273による制御に応じて、白色の光を出力する。白色照明261は、アーム25の餌台250及び周囲に、白色の光を出力する。白色照明261と位置Bとを結ぶ線は、見通し線である。白色照明261から出力された白色の光の一部は、海底100に届くまでに撮影球27によって遮られる。図7では、海底100における位置Aから位置Bまでの範囲には、白色照明261から出力された白色の光が届かない。したがって、白色照明261は、撮影範囲(位置Aから位置Dまでの範囲)のうち、海底100における位置Bから位置Cまでの範囲に、白色の光を出力する。
複数のカメラ271は、海底100における位置Aから位置Dまでの撮影範囲を立体的に撮影する。例えば、カメラ271−1は、カメラ271−1の位置から撮影された特定色照明部251の画像とカメラ271−1の位置から撮影された生物の画像とを、第1の画像(カメラ271−1の撮影画角)に含めることができる。例えば、カメラ271−2は、カメラ271−2の位置から撮影された特定色照明部251の画像とカメラ271−2の位置から撮影された生物の画像とを、第2の画像(カメラ271−2の撮影画角)に含めることができる。
ケーブル28は、有線の海中ケーブルであり、画像記録装置2の各機能部の間で電気信号を伝搬する。ケーブル28は、ラジオビーコン200、トランスポンダ210、特定色照明部251、白色照明部260及びカメラ部270と制御部273との間を、互いに通信可能に接続する。ケーブル28によって互いに接続された各機能部は、画像記録装置2が海中に沈んでいる場合でも、互いに同期及び通信することができる。ケーブル28は、各機能部に電力を供給してもよい。
制御部273は、CPU等の情報処理装置である。制御部273は、撮影球27に格納される。
制御部273とメタデータ生成部290とのうち一部又は全部は、例えば、CPU(Central Processing Unit)等のプロセッサが、メモリに記憶されたプログラムを実行することにより機能するソフトウェア機能部である。また、これらの機能部のうち一部又は全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってもよい。
画像データ記憶部272とメタデータ記憶部291とは、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。メタデータ記憶部291は、撮影時刻情報、自装置の緯度、経度及び水深のうちの少なくとも一つを、画像に対応付けて記憶する。
画像データ記憶部272−m(mは2〜Mのいずれか)は、カメラ部270−mが生成した画像を記憶する。
メタデータ生成装置29は、メタデータ生成部290を備える。メタデータ生成部290は、メタデータ記憶部291を備える。メタデータ生成部290は、メタデータ生成装置29の周囲における海水の電気伝導度(導電率)、水温、水圧を計測するセンサである。メタデータ生成部290は、制御部273による制御から独立して動作してもよいし、制御部273による制御に応じて動作してもよい。図1では、一例として、メタデータ生成部290は、制御部273による制御に応じて動作する。
なお、メタデータ生成部290が制御部273による制御から独立して動作する場合、メタデータ生成装置29は、時計を更に備える。メタデータ生成装置29の時計は、画像記録装置2が海中に投入される直前に時刻合わせされる。
メタデータ生成部290は、時刻情報と計測結果とを、生成されたメタデータとしてメタデータ記憶部291に記録する。例えば、メタデータ生成部290は、メタデータ生成部290によって生成されたCTDデータを、メタデータとしてメタデータ記憶部291に記録する。例えば、メタデータ生成部290は、画像記録装置2の位置における現地時刻情報を、画像の撮影時刻とメタデータ生成装置29の時刻とのいずれかに対応付けてメタデータとしてメタデータ記憶部291に記録する。メタデータ記憶部291に記録されているメタデータは、画像記録装置2が海面に浮上し母船に回収された後で解析される。なお、水深は、画像記録装置2の位置を表す緯度と、画像記録装置2の周辺の水圧とに基づいて定められる。
メタデータ記憶部291は、メタデータ生成部290によって生成されたCTDデータを、メタデータとして記憶する。メタデータ記憶部291は、画像記録装置2の位置における現地時刻情報を、画像の撮影時刻とメタデータ生成装置29の時刻とのいずれかに対応付けてメタデータとして記憶する。
カメラ部270の合計の消費電力は、例えば2.85Wである。消費電力を低減するには、特定色照明部251及び白色照明261の累積の点灯時間を短くする必要がある。そこで、制御部273は、特定色照明部251及び白色照明261を間欠的に点灯する。
制御部273は、特定色照明部251及び白色照明261が消灯している状態で例えば1秒から5秒程度以上カメラ部270が海中を撮影するよう、カメラ部270に制御信号を出力する。
深海は暗闇であるため、白色照明261が点灯した際には、撮影対象の生物が白色の光に反応して急に動き出す可能性がある。カメラ部270が海中を撮影する前に撮影対象の生物が撮影画角から外れる可能性を低減するため、制御部273は、カメラ部270が海中を撮影している状態で、特定色照明部251を点灯する。これによって、カメラ部270は、特定色照明部251から出力された特定の色の光が投影された撮影対象の生物を、例えば1秒から5秒程度以上、撮影することができる。
制御部273は、カメラ部270が海中を撮影している状態で例えば1秒から5秒程度以上特定色照明部251を点灯した後、特定色照明部251を消灯して、白色照明部260を点灯する。ここで、制御部273は、特定色照明部251が点灯している期間が終了する前に、白色照明部260を点灯してもよい。つまり、特定色照明部251が点灯している期間と白色照明部260が点灯している期間の一部とは重複してもよい。
なお、計測装置3aは、各カメラ271によって撮影された各動画を構成する複数のフレームにおいて白色照明261が点灯したフレームを時間方向で合わせることによって、各カメラ271によって撮影された各動画を同期させることができる。
バッテリ274は、1年間等の長期間にわたり、ケーブル28を介して画像記録装置の機能部に電力を供給する。バッテリ274は、例えば、撮影球27に格納される。
次に、計測装置3aの構成例を説明する。
計測装置3aは、取得部31と、検出部32と、リンク部33と、制御部34と、記憶部35と、変数生成部36と、サイズ計測部37と、出力部38とを備える。取得部31は、画像記録装置2の各画像データ記憶部272に記憶されている画像を取得する。取得部31は、画像記録装置2のメタデータ記憶部291に記憶されているCTDデータ等であるメタデータを取得する。取得部31は、画像やCTDデータ等であるメタデータを記憶部35に記録する。検出部32は、時系列で隣り合うフレーム同士の輝度の差を動画ごとに検出する。リンク部33は、差に基づいてフレームの時刻を動画同士で対応付ける。リンク部33は、時系列で隣り合うフレーム同士の輝度の差が閾値以上となったフレームの時刻を、動画同士で対応付ける。制御部34は、時刻が対応付けられた各動画を記憶部35(非一時的な記録媒体)に記録する。
制御部34は、画像データ記憶部272に記憶されてい複数の画像を繋げることによって、複数の画像からパノラマ画像(ワイドレンジ画像)を生成してもよい。制御部34は、複数の画像(フレーム)の輪郭が接するようにしてパノラマ画像を生成してもよい。制御部34は、複数の画像(フレーム)の一部が重複するようにしてパノラマ画像を生成してもよい。
記憶部35は、画像記録装置2の画像データ記憶部272に記憶されている画像を記憶する。記憶部35は、画像記録装置2のメタデータ記憶部291に記憶されているCTDデータ等であるメタデータを記憶する。記憶部35は、各カメラ271によって生成された画像同士の関係を表す情報(以下「リンク情報」という。)を、画像の記憶領域とは別の記憶領域に記憶する。リンク情報は、例えば、撮影の年月日情報、撮影の時刻情報、カメラ配置情報である。サイズ計測部37は、画像とメタデータとリンク情報とに基づいて、海底における生態等のデータ解析を容易に実行することができる。
図8は、カメラ配置情報の形式の例を示す図である。カメラ配置情報において、「YYYYMMDD」は、現地時間における年月日を表す。「HHMMSS」は、現地時間における時刻(時、分、秒)を表す。
「CAMERA1」は、例えば、カメラ271−1を表す。「cameraModelNumber」は、カメラの製造元及びモデルを表す番号である。「LensModelNumber」は、カメラのレンズの製造元及びモデルを表す番号である。
「Rotation」は、撮像素子の長軸が水平である場合、「r_H(水平)」と表される。例えば、画像が表示される画面のアスペクト比(水平:垂直)が16:9である場合、「Rotation」は、「r_H(水平)」である。「Rotation」は、撮像素子の長軸が垂直である場合、「r_V(垂直)」と表される。
「ReferencePoint」は、撮影球27の中心(基準点)を表す。「ReferencePoint」は、撮影球27の正面又は反対面の中心でもよい。カメラ271の撮像素子は、カメラ271を支持する立方体の側面「Plane1」から離れた位置にある。カメラの距離は、基準点から撮像素子の中心までの距離で表される。通常では、基準点よりも左にカメラ271が配置されるため、x軸方向に関してカメラの距離は負値である。多くの場合、y軸方向に関してカメラの距離は負値である。カメラ271の撮像素子が側面「Plane1」の前方にあり、カメラ271の撮像素子以外の構成が側面「Plane1」の後方にある場合、z軸方向に関してカメラの距離は正値である。
「PanFromPlane1」は、側面「Plane1」を基準とする水平方向へのパン値(左右方向への光軸の傾き)である。パン値「0」は、側面「Plane1」の法線方向を表す。右方向へのパン値は正値である。左方向へのパン値は負値である。
「TiltFromPlane1」は、側面「Plane1」を基準とする垂直方向へのチルト値(上下方向への光軸の傾き)である。チルト値「0」は、側面「Plane1」の法線方向を表す。上方向へのチルト値は正値である。下方向へのチルト値は負値である。「Comments」は、例えば、ズーム比が設定されているか否かと、設定されているズーム比とを表すコメントである。
図9は、CTDデータの形式の例を示す図である。「HHMMSS」は、現地時間における時刻(時、分、秒)を表す。秒よりも高い精度で時刻が表現される場合、現地時間における時刻は、「HHMMSSpXXX」という形式で表現される。ここで、「p」は小数点を表す。「XXX」は、秒の小数部を表す。
「pressure」は、水圧をデシベル単位で表す。「depth_salt」は、計測された位置の緯度に基づく「塩水における水深」をメートル単位で表す。「temperature」は、水温を摂氏で表す。「salinity」は、電気伝導率、水温及び水圧に基づく塩分濃度を無単位で表す。「userpoly」の領域は、ユーザデータの記録領域である。ユーザデータは、例えば、CTDデータと共に記録される可能性のある酸素濃度や濁度などのデータである。
図1に戻り、計測装置3aの構成例の説明を続ける。変数生成部36は、カメラ271が生成した画像に輪郭検出処理を施すことによって、計測用の変数を生成する。例えば、変数生成部36は、カメラ271が生成した画像に輪郭検出処理を施すことによって、撮影対象の生物である被写体の長さを計測するための変数を取得する。変数生成部36は、カメラ271が生成した画像に輪郭検出処理を施すことによって、画像において隣り合う特定色照明252同士の距離を表す変数を取得する。
図10は、撮影対象の生物である被写体110の長さの例を示す図である。カメラ部270の複数のカメラ271は、被写体110及び特定色照明部251を撮影する。図10では、カメラ271−mとカメラ271−(m+1)との水平方向の距離は、Dである。各カメラ271から特定色照明252までの予め定められた距離は、Ziである。各カメラ271から被写体110までの距離は、Zxである。
サイズ計測部37は、第1のカメラ271によって生成された画像における被写体110の位置と、第2のカメラ271によって生成された画像における被写体110の位置との差(視差Bx)を計測する。サイズ計測部37は、第1のカメラ271によって生成された画像における特定色照明252の位置と、第2のカメラ271によって生成された画像における特定色照明252の位置との差(視差Bi)を計測する。複数の特定色照明252は、所定の基準間隔SCで特定色照明部251に配列されている。
サイズ計測部37は、画像における被写体110のサイズと画像における特定色照明252同士の基準間隔とに基づいて、カメラ271によって生成された画像における基準間隔SCと被写体110の画像の長さとの比を表す係数Kを定める。サイズ計測部37は、基準間隔SCと係数Kと距離Ziと距離Zxとに基づいて、被写体110の長さXを計測する。
予め定められた距離Ziは、式(1)のように表される。
Zi=D×Fs/Bi …(1)
ここで、Fsは、カメラ271のレンズの焦点距離を表す。Biは、カメラ271−mによって生成された画像における特定色照明252−nの画像の位置と、カメラ271−(m+1)によって生成された画像における特定色照明252−nの画像の位置との視差を表す。すなわち、Biは、カメラ271−mの撮影画角における特定色照明252−nの画像の位置と、カメラ271−(m+1)の撮影画角における特定色照明252−nの画像の位置との距離を表す。
距離Zxは、式(2)のように表される。
Zx=D×Fs/Bx …(2)
ここで、Bxは、カメラ271−mによって生成された画像における被写体110の画像の位置と、カメラ271−(m+1)によって生成された画像における被写体110の画像の位置との視差を表す。すなわち、Bxは、カメラ271−mの撮影画角における被写体110の画像の位置と、カメラ271−(m+1)の撮影画角における被写体110の画像の位置との距離を表す。
カメラ271によって生成された画像における被写体110の長さは、カメラ271から被写体110までの距離に比例して変化する。したがって、式(3)が成り立つ。
Zi:Zx=K×SC:X …(3)
ここで、Kは、カメラ271によって生成された画像における、基準間隔SCと被写体110の画像の長さとの比を表す係数である。サイズ計測部37は、式(4)に基づいて、被写体110の長さXを算出する。
X=K×SC×Bi/Bx …(4)
出力部38は、表示装置である。出力部38は、被写体110の長さXを表す情報を表示する。出力部38は、各カメラ271によって生成された画像を出力してもよい。出力部38は、各カメラ271によって生成された画像に撮影の時刻情報を重畳表示してもよい。
次に、画像記録装置2の動作の例を説明する。
図11は、画像記録装置2の動作の例を示すシーケンス図である。制御部273は、メタデータの生成の開始を、メタデータ生成部290に指示する。メタデータは、白色照明部260の点灯時刻を表す情報を含んでもよい。メタデータ生成部290は、生成されたメタデータをメタデータ記憶部に記録する(ステップS101)。制御部273は、動画の撮影の開始をカメラ部270に指示する。カメラ部270は、カメラ271−mによって撮影された動画を、画像データ記憶部272−mに記録する(ステップS102)。
図11では、所定時間とは例えば5秒間である。ステップS102から所定時間の経過後、制御部273は、特定色照明252の点灯を特定色照明部251に指示する(ステップS103)。ステップS103から所定時間の経過後、制御部273は、白色照明261の点灯を白色照明部260に指示する(ステップS104)。制御部273は、特定色照明252の消灯を特定色照明部251に指示する(ステップS105)。ステップS104から所定時間の経過後、制御部273は、白色照明261の消灯を白色照明部260に指示する(ステップS106)。
制御部273は、動画の撮影の停止をカメラ部270に指示する。カメラ部270は、動画の記録を停止する(ステップS107)。制御部273は、メタデータの生成の停止を、メタデータ生成部290に指示する。メタデータ生成部290は、生成されたメタデータの記録を停止する(ステップS108)。
なお、メタデータ生成部290が制御部273の制御から独立して動作する場合、制御部273は、ステップS101及びステップS108を実行しなくてもよい。
次に、計測装置3aが生成する動画ファイルの例を説明する。
図12は、動画ファイルの例を示す図である。検出部32は、時系列で隣り合うフレーム同士の輝度の差を、動画ごとに検出する。フレーム300は、カメラ271−1が生成した動画の時系列のフレームである。図12では、白色照明261が出力した光がフレーム300−4に撮影されている。このため、フレーム300−4の輝度は、フレーム300−3の輝度よりも高い。したがって、フレーム300−3の輝度とフレーム300−4の輝度との差は、予め定められた閾値以上である。
フレーム301は、カメラ271−2が生成した動画の時系列のフレームである。図12では、白色照明261が出力した光がフレーム301−3に撮影されている。このため、フレーム301−3の輝度は、フレーム301−2の輝度よりも高い。したがって、フレーム301−2の輝度とフレーム301−3の輝度との差は、予め定められた閾値以上である。
フレーム302は、カメラ271−3が生成した動画の時系列のフレームである。図12では、白色照明261が出力した光がフレーム302−4に撮影されている。このため、フレーム302−4の輝度は、フレーム302−3の輝度よりも高い。したがって、フレーム302−3の輝度とフレーム302−4の輝度との差は、予め定められた閾値以上である。メタデータ400は、時系列のCTD等のデータである。メタデータ400は、白色照明261の点灯時刻情報を含んでもよい。
リンク部33は、時系列のフレーム同士で輝度の差が閾値以上であるフレーム300−4とフレーム301−3とフレーム302−4とを、白色照明261の点灯時刻t0に対応付ける。リンク部33は、各フレームとメタデータとの時刻の対応を示す情報を、リンク情報として生成する。制御部273は、動画とメタデータとリンク情報とを含む動画ファイルを生成する。
次に、計測装置3aの動作の例を説明する。
図13は、動画ファイルの生成手順の例を示す図である。取得部31は、複数のカメラ271によって海中で撮影された動画をカメラ271ごとに取得する(ステップS201)。検出部32は、時系列で隣り合うフレーム同士の輝度の差を動画ごとに検出する(ステップS202)。リンク部33は、差に基づいてフレームの時刻を動画同士で対応付ける(ステップS203)。制御部34は、時刻が対応付けられた各動画を、動画ファイルとして記憶部35(非一時的な記録媒体)に記録する(ステップS204)。
以上のように、第1実施形態の計測装置3aは、取得部31と、検出部32と、リンク部33と、制御部34とを備える。特定色照明部251の特定色照明252が点灯する前に海中で複数のカメラ271によって撮影が開始された動画であり、特定色照明部251の特定色照明252の点灯後に白色照明部260の白色照明261が点灯した後に撮影が終了した動画を、取得部31は、カメラ271ごとに取得する。検出部32は、時系列で隣り合うフレーム同士の輝度の差を動画ごとに検出する。リンク部33は、差に基づいてフレームの時刻を動画同士で対応付ける。例えば、リンク部33は、時系列で隣り合うフレーム同士の輝度の差が閾値以上となったフレームの時刻を、動画同士で対応付ける。制御部34は、時刻が対応付けられた各動画を記憶部35(非一時的な記録媒体)に記録する。例えば、特定色照明252−2は、特定色照明252−1が青色以外の特定色(赤色等)で点灯した後で、その特定色(赤色等)以外の色であって青色以外の特定色(黄色等)で更に点灯してもよい。
これによって、第1実施形態の計測装置3aは、海中で複数のカメラ271が生成した動画同士の時刻を同期させて記録媒体に記録することができる。
第1実施形態の画像記録装置2は、カメラ部270と、第1照明部としての特定色照明部251と、画像データ記憶部272と、制御部273とを備える。カメラ部270は、海中で被写体を撮影する。特定色照明部251は、例えば赤色で点灯する複数の特定色照明252を有する。画像データ記憶部272は、カメラ部270によって生成された画像を記憶する。制御部273は、カメラ部270が撮影を開始した後、例えば赤色で点灯する特定色照明252を点灯する。
これによって、第1実施形態の画像記録装置2は、撮影対象の生物が撮影画角から外れる可能性を低減することが可能である。換言すれば、第1実施形態の画像記録装置2は、海底に長期間留まって、海底における生態を正確に表す画像を記録することが可能である。
第1実施形態の画像記録装置2は、フリーフォール型の深海探査カメラシステムである。第1実施形態の画像記録装置2は、長期間にわたる海底のモニタリングにおいて、海底の生物を間欠的に動画で撮影することができる。第1実施形態の計測装置3aは、海底における生物のサイズを、撮影された画像から得ることができる。第1実施形態の計測装置3aは、撮影時刻、緯度及び経度等のリンク情報と、水深(深度)及びCTDデータ等のメタデータとに基づいて、海底における生態を正確に調査することができる。
第1実施形態の画像記録装置2は、高価である高感度カメラを備えなくてもよい。このため、画像記録装置2の製造コストは安い。画像記録装置2は、製造コストが安いので量産に適している。量産された画像記録装置2は、多くの地点を撮影することができる。
第1実施形態の画像記録装置2は、海底を間欠的に撮影するので、消費電力を低くすることができる。第1実施形態の画像記録装置2は、照明で海底を間欠的に照らすので、消費電力を低くすることができる。
基準間隔SCで配列された赤色の照明をステレオカメラで撮影するので、計測装置3aは、ステレオカメラが生成した各画像に基づいて、撮影対象の生物のサイズを計測することができる。計測装置3aは、光過敏性生物の生態を把握することができる。計測装置3aは、底生生物の量を得ることができる。
第1実施形態の画像記録装置2及び計測装置3aのうちの少なくとも一方は、カメラ271ごとに記録された各画像にリンク情報を対応付ける。第1実施形態の計測装置3aは、リンク情報に基づいて、画像から情報を容易に得ることができる。
オキアミ等の海洋生物は、光に寄って来る性質がある。仮に、このような海洋生物が画像記録装置2の周囲に多く集まってしまった場合、撮影対象でないオキアミ等の海洋生物をカメラ271が撮影してしまう。第1実施形態の画像記録装置2は、海底を照明で短時間だけ照らすので、撮影対象でないオキアミ等の海洋生物が画像記録装置2の周囲に多く集まることを防ぐことができる。
第1実施形態の計測装置3aは、サイズ計測部37を備える。サイズ計測部37は、基準間隔SCと係数Kと距離Ziと距離Zxとに基づいて、被写体110の長さXを計測する。
これによって、第1実施形態の画像記録装置2は、撮影対象の生物のサイズを画像に基づいて計測することが可能である。換言すれば、第1実施形態の画像記録装置2は、海底に長期間留まって、海底における生態を正確に表す画像を記録することが可能である。
(第2実施形態)
第2実施形態では、海底における画像記録装置の高度を計測する高度計測部を計測装置が備える点が、第1実施形態と相違する。第2実施形態では、第1実施形態との相違点についてのみ説明する。
図14は、画像記録システム1bの構成の例を示す図である。画像記録システム1bは、海中環境の画像を記録するシステムである。画像記録システム1bは、画像記録装置2と、計測装置3bと、測位装置4とを備える。
画像記録装置2の錘23が着地している海底は、軟弱土である場合がある。画像記録装置2の錘23が着地している海底が軟弱土である場合、時間経過に応じて錘23が海底に埋もれてしまうので、海底における画像記録装置2の高度が変化する。このため、画像記録システム1bは、海底におけるカメラ271の位置の高度を、画像記録装置2が母船に回収された後に正確に得る必要がある。
図15は、影120の例を示す図である。白色照明261と撮影球27との相対的な位置関係は一定である。海底100に投影された撮影球27の影120の実際の直径は、画像記録装置2の高度に比例する。影120の実際の直径は、海底100からの画像記録装置2の高度が高くなるほど長くなる。撮影球27に格納されている各カメラ271のうちの少なくとも1台は、海底100に投影されている撮影球27の影120を撮影する。
影120の直径又は面積と画像記録装置2の高度との関係は、図15に示されているような幾何学条件に基づいて予め算出される。なお、影120の直径又は面積と画像記録装置2の高度との関係は、試験的に実測されることによって求められてもよい。
図16は、撮影された影120の例を示す図である。各カメラ271のうちの少なくとも1台によって生成された画像における影120の画像の直径は、海底100からの画像記録装置2の高度に比例する。各カメラ271のうちの少なくとも1台によって生成された画像における影120の画像の直径は、海底100からの画像記録装置2の高度が低くなるほど長くなる。図16において、時刻表示領域130は、時刻情報等を表示するための領域である。
図14に戻り、計測装置3bの構成例を説明する。計測装置3bは、情報処理装置である。計測装置3bは、取得部31と、検出部32と、リンク部33と、制御部34と、記憶部35と、変数生成部36と、サイズ計測部37と、出力部38と、高度計測部39とを備える。高度計測部39は、プログラムに応じて動作するCPU等の情報処理装置である。
高度計測部39は、カメラ271によって生成された画像において海底100に投影された撮影球27の影120の直径又は面積に基づいて、海底100に対する画像記録装置2の高度を、画像記録装置2が母船に回収された後に計測してもよい。高度計測部39は、計測された高度を表す変数を、高度を表す変数を用いる計測処理において補正してもよい。
高度計測部39は、カメラ271によって生成された画像において海底100に投影されたアーム25の影とアーム25との位置関係に基づいて、海底100に対する画像記録装置2の姿勢(傾斜)を、画像記録装置2が母船に回収された後に計測してもよい。
出力部38は、海底100に対する画像記録装置2の高度を表す情報を表示する。出力部38は、海底100に対する画像記録装置2の姿勢(傾斜)を表す情報を表示してもよい。出力部38は、カメラ271によって生成された画像において定められた時刻表示領域130に、時刻情報を重畳表示してもよい。
なお、錘23の表面には、海底100への沈み込み量を計測するための目盛が描かれていてもよい。カメラ271−3は、海底100に着地している錘23を撮影してもよい。カメラ271−3は、海底100に着地している錘23の画像を、画像データ記憶部272−3に記録してもよい。高度計測部39は、画像記録装置2が母船に回収された後、錘23の表面に描かれた目盛の画像に基づいて海底100におけるカメラ271の位置の高度を計測してもよい。高度計測部39は、画像記録装置2が母船に回収された後、錘23の表面に描かれた目盛の画像に基づいてカメラ271の位置の高度情報を補正してもよい。
以上のように、第2実施形態の計測装置3bは、高度計測部39を備える。高度計測部39は、カメラ271によって生成された画像において海底100に投影された撮影球27の影120の直径又は面積に基づいて、海底100に対する画像記録装置2の高度を計測する。高度計測部39は、錘23の表面に描かれた目盛の画像に基づいて、海底100におけるカメラ271の位置の高度を計測してもよい。
これによって、第2実施形態の計測装置3bは、海底におけるカメラ271の位置の高度を計測することが可能である。第2実施形態の計測装置3bは、画像記録装置2の高度を表す変数を、所定の計測処理において補正することが可能である。換言すれば、第2実施形態の画像記録装置2は、海底に長期間留まって、海底における生態を正確に表す画像を記録することが可能である。
また、画像記録装置2の各カメラ271は、赤色、黄色又は白色等の特定色の照明で照らされた海底を撮影することによって、海底堆積物の色調変化を長期間にわたってモニタリングすることも可能である。
また、計測装置の検出部32は、1年間等の長期間にわたって海底の生物及び環境をモニタリングした画像記録装置2の回収後に、カメラ271の動画において時系列で隣り合うフレーム同士の輝度の差が閾値以上となったタイミングを、各カメラ271の動画同士で比較してもよい。これによって、検出部32は、ケーブル28の故障等によってカメラ271同士の時刻同期ができなくなった場合でも、各カメラ271の動画の時刻同期を、比較結果に基づいて検出することができる。また、検出部32は、動画のフレーム単位で、各カメラ271の動画の時刻同期を検出することができる。
上述した実施形態における画像記録システム、画像記録装置及び計測装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回路を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、海中環境をモニタリングするシステムである海中環境モニタリング画像記録システムに適用可能である。
1a,1b…画像記録システム、2…画像記録装置、3a,3b…計測装置、4…測位装置、20…通信球、21…トランスポンダ球、22…トランスデューサ、23…錘、24…切り離し装置、25…アーム、26…照明球、27…撮影球、28…ケーブル、29…メタデータ生成装置、31…取得部、32…検出部、33…リンク部、34…制御部、35…記憶部、36…変数生成部、37…サイズ計測部、38…出力部、39…高度計測部、100…海底、110…被写体、120…影、130…時刻表示領域、200…ラジオビーコン、250…餌台、251…特定色照明部、252…特定色照明、253…照明基板、254…電源端子、260…白色照明部、261…白色照明、270…カメラ部、271…カメラ、272…画像データ記憶部、273…制御部、274…バッテリ、290…メタデータ生成部、291…メタデータ記憶部、300…フレーム、301…フレーム、301…フレーム、400…メタデータ、500…リンク情報

Claims (13)

  1. 情報処理装置が実行する画像記録方法であって、
    第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得するステップと、
    前記動画において時系列で隣り合うフレーム同士の輝度の差を、前記動画ごとに検出するステップと、
    前記差に基づいてフレームの時刻を前記動画同士で対応付けるステップと、
    時刻が対応付けられた前記各動画を記録媒体に記録するステップと
    を含む画像記録方法。
  2. 前記対応付けるステップでは、時系列で隣り合うフレーム同士の輝度の差が閾値以上となったフレームの時刻を動画同士で対応付ける、請求項1に記載の画像記録方法。
  3. 前記記録するステップでは、前記各動画と各メタデータとを時刻で対応付けて記録媒体に記録する、請求項1又は請求項2に記載の画像記録方法。
  4. 前記取得するステップでは、
    複数の前記第1照明のうちの少なくとも一つは、いずれかの前記第1照明が前記第1の色で点灯した後に、前記第1の色及び前記第2の色以外の第3の色で点灯し、
    前記第2照明は、前記第1照明が前記第3の色で点灯した後に、前記第2の色で点灯する、請求項1から請求項3のいずれか一項に記載の画像記録方法。
  5. 前記第1の色は、青色以外の特定色であり、
    前記第2の色は、白色であり、
    前記第3の色は、前記第1の色以外の色であって青色以外の特定色である、請求項4に記載の画像記録方法。
  6. コンピュータに、
    第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得する手順と、
    前記動画において時系列で隣り合うフレーム同士の輝度の差を前記動画ごとに検出する手順と、
    前記差に基づいてフレームの時刻を前記動画同士で対応付ける手順と、
    時刻が対応付けられた各動画を記録媒体に記録する手順と
    を実行させるための画像記録プログラム。
  7. 第1の色で点灯する第1照明が点灯する前に海中で複数のカメラによって撮影が開始された動画であり、前記第1照明の点灯後に第2の色で点灯する第2照明が点灯した後に撮影が終了した動画を、前記カメラごとに取得する取得部と、
    前記動画において時系列で隣り合うフレーム同士の輝度の差を動画ごとに検出する検出部と、
    前記差に基づいてフレームの時刻を前記動画同士で対応付けるリンク部と、
    時刻が対応付けられた前記各動画を記録媒体に記録する制御部と
    を備える情報処理装置。
  8. 海中で被写体を撮影するカメラ部と、
    第1の色で点灯する第1照明を有する第1照明部と、
    前記カメラ部によって生成された画像を記憶する記憶部と、
    前記カメラ部が撮影を開始した後、前記第1照明を点灯する制御部と
    を備える画像記録装置。
  9. 第2の色で点灯する第2照明を有する第2照明部を更に備え、
    前記制御部は、前記第1照明部を点灯してから所定時間の経過後、前記第2照明を点灯する、請求項8に記載の画像記録装置。
  10. 前記第1照明部は、所定の基準間隔で配列されている複数の前記第1照明を有し、
    前記カメラ部は、複数の前記第1照明と前記被写体とを撮影する、請求項8又は請求項9に記載の画像記録装置。
  11. 前記カメラ部は、複数のカメラを備え、
    複数の前記カメラは、互いに異なる方向から前記被写体を撮影する、請求項8から請求項10のいずれか一項に記載の画像記録装置。
  12. 前記カメラ部は、海底に投影された自装置の影を撮影する、請求項8から請求項11のいずれか一項に記載の画像記録装置。
  13. 前記記憶部は、撮影時刻情報、自装置の緯度、経度及び水深のうちの少なくとも一つを、前記画像に対応付けて記憶する、請求項8から請求項12のいずれか一項に記載の画像記録装置。
JP2017246910A 2017-12-22 2017-12-22 画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 Active JP7165320B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017246910A JP7165320B2 (ja) 2017-12-22 2017-12-22 画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置
US16/954,494 US11423947B2 (en) 2017-12-22 2018-12-11 Image recording method, image recording program, data processing apparatus, and image recording apparatus
CN201880081460.8A CN111492649B (zh) 2017-12-22 2018-12-11 图像记录方法、图像记录程序、数据处理设备和图像记录设备
EP18891589.6A EP3729798A4 (en) 2017-12-22 2018-12-11 IMAGE RECORDING METHOD, IMAGE RECORDING PROGRAM, DATA PROCESSING DEVICE, AND IMAGE RECORDING DEVICE
PCT/JP2018/046228 WO2019124287A1 (en) 2017-12-22 2018-12-11 Image recording method, image recording program, data processing apparatus, and image recording apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017246910A JP7165320B2 (ja) 2017-12-22 2017-12-22 画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置

Publications (2)

Publication Number Publication Date
JP2019114923A true JP2019114923A (ja) 2019-07-11
JP7165320B2 JP7165320B2 (ja) 2022-11-04

Family

ID=66992708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017246910A Active JP7165320B2 (ja) 2017-12-22 2017-12-22 画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置

Country Status (5)

Country Link
US (1) US11423947B2 (ja)
EP (1) EP3729798A4 (ja)
JP (1) JP7165320B2 (ja)
CN (1) CN111492649B (ja)
WO (1) WO2019124287A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113382223A (zh) * 2021-06-03 2021-09-10 浙江大学 一种基于多目视觉的水下三维立体成像装置及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449256B2 (en) * 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
CN111931724B (zh) * 2020-09-23 2024-06-21 阿波罗智联(北京)科技有限公司 信号灯的异常识别方法、装置、电子设备和路侧设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134585A (ja) * 2010-12-20 2012-07-12 Nikon Corp カメラ
JP2012220859A (ja) * 2011-04-13 2012-11-12 Fujita Corp 全方位撮影システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4913196B1 (ja) 1970-07-01 1974-03-29
JP2003069864A (ja) 2001-08-27 2003-03-07 Fisheries Research Agency 水中の映像を長期間にわたって記録する方法及びその方法に使用する水中映像記録装置
US8508624B1 (en) * 2010-03-19 2013-08-13 Ambarella, Inc. Camera with color correction after luminance and chrominance separation
JP5615229B2 (ja) 2011-05-31 2014-10-29 株式会社杉野ゴム化学工業所 海底探査装置
TW201308251A (zh) * 2011-08-04 2013-02-16 Yi-Wu Chiang 水下影像強化系統
EP2810018A4 (en) * 2012-01-30 2015-12-30 Google Inc DEVICE AND METHOD FOR RECORDING IMAGES UNDER WATER
AU2013333801B2 (en) * 2012-10-17 2019-04-18 Cathx Research Ltd Improvements in relation to underwater imaging for underwater surveys
JP6373261B2 (ja) 2013-04-18 2018-08-15 岡本硝子株式会社 水中ビデオカメラ用ハウジング
GB201407267D0 (en) * 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US20160180884A1 (en) * 2014-10-15 2016-06-23 Benjamin Nowak Method and system for synchronization of multiple content streams
JP2016089026A (ja) 2014-11-04 2016-05-23 バキュームモールド工業株式会社 軽量材及びこれを用いたフリーフォール式耐圧ガラス球入り深海探査システム用フレーム材
CN104914082A (zh) * 2015-05-20 2015-09-16 中国石油大学(华东) 一种紫外诱导荧光多光谱成像的海洋溢油油种识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134585A (ja) * 2010-12-20 2012-07-12 Nikon Corp カメラ
JP2012220859A (ja) * 2011-04-13 2012-11-12 Fujita Corp 全方位撮影システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113382223A (zh) * 2021-06-03 2021-09-10 浙江大学 一种基于多目视觉的水下三维立体成像装置及方法

Also Published As

Publication number Publication date
CN111492649A (zh) 2020-08-04
CN111492649B (zh) 2023-02-28
US20210166733A1 (en) 2021-06-03
EP3729798A1 (en) 2020-10-28
JP7165320B2 (ja) 2022-11-04
US11423947B2 (en) 2022-08-23
EP3729798A4 (en) 2021-10-06
WO2019124287A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
JP6974873B2 (ja) シーンから深度情報を取得するための装置および方法
US10116842B2 (en) Gathering range and dimensional information for underwater surveys
JP6205465B2 (ja) 浅水域観測システム
JP7165320B2 (ja) 画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置
CN113532329B (zh) 一种以投射光斑为标定点的标定方法
US20160134860A1 (en) Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
EP1465415A1 (en) Close region image extraction device and close region image extraction method
US10778877B2 (en) Image-capture device
EP2990757B1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
CN108592886B (zh) 图像采集设备和图像采集方法
KR101296601B1 (ko) 지리 정보 파노라마 사진의 제작을 위한 카메라 제어 시스템 및 방법
CN111445528B (zh) 一种在3d建模中多相机共同标定方法
US20160044295A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
JP6898396B2 (ja) 水底観測システム
JP2009031206A (ja) 位置測定装置
JP2021150942A (ja) 撮像装置および撮像処理方法
JP6868168B1 (ja) 撮像装置および撮像処理方法
TWI630558B (zh) 潛水記錄裝置
JP6909751B2 (ja) 無人飛行機及び相対反射率の算出方法
Assam Sensor-Enhanced imaging
JP2021150882A (ja) 撮像装置および撮像処理方法
Tan et al. LoBSTAS: Low-cost Benthic Weather Station To Monitor Seabed Dynamics And Coastal Hypoxia
Swirski et al. Caustereo: structure from underwater flickering illumination

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221013

R150 Certificate of patent or registration of utility model

Ref document number: 7165320

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150