JP2013201714A - 移動体の画像判別装置および移動体の画像判別方法 - Google Patents

Abstract

【課題】画像に基づいて計測対象の自動判別を行う。解像度が不十分な動画を利用して精度良く判別を行う。
【解決手段】同一方向から同一の計測領域を撮影する動画カメラ１及び当該動画カメラ１よりも画像解像度が高い静止画カメラ２と、動画カメラ１で撮影された動画から判別対象の動きの情報を利用して動画フレーム中の判別対象の画像を抽出する動画側画像抽出手段３と、動画側画像抽出手段３が抽出した抽出画像の位置情報に基づいて同時刻の静止画から判別対象の画像を抽出する静止画側画像抽出手段４と、静止画側画像抽出手段４が抽出した抽出画像に基づいて判別対象の種別を判別する手段とを備えている。
【選択図】図１

Description

本発明は、移動体の画像判別装置および移動体の画像判別方法に関する。さらに詳しくは、本発明はカメラで撮影した画像に基づいてパターン識別を行い計測の対象を自動判別する移動体の画像判別装置および移動体の画像判別方法に関するものである。

近年、温暖化傾向を示しているといわれる気候変化の影響により、日本沿岸の水温が上昇し、これまで日本沿岸に漂着しても冬季に死滅していた熱帯・亜熱帯性の魚類が、越冬して定着する可能性が示されている。また、熱帯産のナルトビエイなどが日本沿岸に北上してアサリやハマグリなどを捕食し、有用な水産資源を脅かしていると懸念されている。懸念されている気候変動や将来の地球温暖化が、このような沿岸生態系の多様性や、水産資源に及ぼす影響を明らかにするために、魚類の生息量調査が行われてきた。また、魚類の生息量調査は、発電所周辺の環境アセスメントや、一般的な環境保全、および漁業振興にとっても、重要な調査活動である。

現在、このような魚類調査には、研究用底引き網や刺し網を設置して捕獲された生息魚類の種や量を定量する方法、ダイバーが潜水して目視と記録により生息量を推定する方法、水中撮影した動画の魚影をオペレータが判別して魚の種類や量を定量する方法がとられている。

しかしながら、底引き網や刺し網による調査は、調査対象とする魚類の正確な種の同定、重量や全長、場合によって雌雄の別や、性的成熟度など、多様な情報を取得できるという利点を有する一方で、生物資源の減少を引き起こすとともに、刺し網にかからない大型魚種の定量は難しいという欠点を有する。また、スキューバタンクの普及により近年行われるようになったダイバーによる調査法は、大型魚の目視確認や、魚類の実際の行動を観察記録できるという利点を有するが、調査時間が短時間に限られ、かつ観察者の影響で魚類の生息域や行動が変化するという欠点を有する。

一方でビデオカメラを水中に設置して、魚類の生息量や行動を長時間あるいは定期的に撮影記録するという方法は、これまで行われてきた刺し網調査やダイバー調査の欠点をカバーする新たな手法と期待されているが、ビデオカメラで撮影されたビデオ映像（動画）は特に海中では解像度が不十分であるため、抽出した魚影から魚種を精度良く判別するのは困難である。

なお、ビデオ画像に基づいて魚類を検出する技術として、例えば特開２００５−３０９４８５号公報に開示されたものがある。

そして、このような問題は、海中の魚類の計測に限られず、例えば鳥類、昆虫等の遠距離にいる動物、小型の動物、動きの速い動物等を対象にビデオ撮影を行い計測を行う場合も同様である。

特開２００５−３０９４８５号公報

本発明は、上述の問題点を解決するためになされたもので、画像に基づいて計測対象の自動判別を可能にすると共に、解像度が不十分な動画を利用して精度良く判別を行うことができる移動体の画像判別装置および移動体の画像判別方法を提供することを目的とする。

かかる目的を達成するために、請求項１記載の移動体の画像判別装置は、同一方向から同一の計測領域を撮影する動画カメラ及び当該動画カメラよりも画像解像度が高い静止画カメラと、動画カメラで撮影された動画から判別対象の画像の位置を検出する動画側画像抽出手段と、動画側画像抽出手段が検出した画像の位置情報に基づいて同時刻の静止画から判別対象の画像を抽出する静止画側画像抽出手段と、静止画側画像抽出手段が抽出した画像に基づいて判別対象の種別を判別する手段とを備えるものである。

また、請求項２記載の移動体の画像判別装置は、少なくとも動画の一部のフレームと少なくとも１枚の静止画には、時間同期のための同期目印が写し込まれているものである。

請求項３記載の移動体の画像判別装置は、静止画側画像抽出手段は、動画側画像抽出手段が検出した画像の座標を同時刻の静止画上の座標に変換する座標変換手段と、座標変換手段による変換座標を基準に静止画内で判別対象の画像を探索する画像探索手段とを備えるものである。

請求項４記載の移動体の画像判別装置は、判別対象の主な移動方向を横方向と縦方向に分類した場合に横方向に分類されるときには動画カメラと静止画カメラは上下に配置され、縦方向に分類されるときには動画カメラと静止画カメラは左右に配置されているものである。

請求項５記載の移動体の画像判別装置は、判別対象の画像と種別を対応付けたデータベースを備えており、判別対象の種別を判別する手段は、データベースを参照してパターン識別を行い判別を行うものである。

請求項６記載の移動体の画像判別装置は、判別対象の種別を判別する手段は判別対象を計数するものである。

また、請求項７記載の移動体の画像判別方法は、動画カメラと当該動画カメラよりも画像解像度が高い静止画カメラとで同一方向から同一の計測領域を撮影して動画と当該動画に対応する多数の時系列順の静止画を取得し、動画カメラで撮影された動画から判別対象の画像の位置を検出すると共に、検出した位置情報に基づいて同時刻の前記静止画から前記判別対象の画像を抽出し判別対象の種別を判別することを特徴とするものである。

また、請求項８記載の移動体の画像判別方法は、少なくとも動画の一部のフレームと少なくとも１枚の静止画に同期目印を写し込んでおき、同期目印に基づいて動画と静止画との撮影時間を同期させるものである。

また、請求項９記載の移動体の画像判別方法は、静止画からの判別対象の画像の抽出は、動画から検出された判別対象の画像の座標を静止画上の座標に変換した後、この変換座標を基準に静止画内で判別対象の画像を探索することで行われるものである。

また、請求項１０記載の移動体の画像判別方法は、判別対象の主な移動方向を横方向と縦方向に分類し、横方向に分類される場合は動画カメラと静止画カメラを上下に配置し、縦方向に分類される場合は動画カメラと静止画カメラを左右に配置するものである。

また、請求項１１記載の移動体の画像判別方法は、判別対象の画像と種別を対応付けたデータベースを参照しながらパターン識別を行い判別対象の種別を判別するものである。

また、請求項１２記載の移動体の画像判別方法は、判別した判別対象を計数するものである。

請求項１記載の移動体の画像判別装置、請求項７記載の移動体の画像判別方法によれば、判別対象の検出を動画に基づいて行うので検出精度を向上させることができると共に、判別に使用する画像の抽出を静止画に基づいて行うので、使用する画像が鮮明なものとなり、判別精度を向上させることができる。即ち、動画と静止画の特徴を利用するので、効率的に精度の良い判別を行うことができる。また、画像処理による自動判別であり、人手による労力を抑えることができると共に、オペレータの知識量・習熟度等に起因した判別結果のばらつきを防止して客観性の高い結果を得ることができる。さらに、計測時間帯の計測領域は無人であり、作業者が判別対象の行動等に影響を与えるのを防止できて通常時の状況をそのまま計測できる。また、判別対象を捕獲することも無いので、資源の減少を引き起こすこともない。

また、請求項２記載の移動体の画像判別装置、請求項８記載の移動体の画像判別方法によれば、時間同期用の同期目印を使用するので、動画と静止画の撮影時間の同期を簡単且つ精確に行うことができる。

また、請求項３記載の移動体の画像判別装置、請求項９記載の移動体の画像判別方法によれば、動画と静止画との対応付けの精度を向上させることができ、静止画に写る判別対象の画像の抽出精度を向上させることができる。

また、請求項４記載の移動体の画像判別装置、請求項１０記載の移動体の画像判別方法によれば、動画カメラと静止画カメラとの配置が視差ずれの影響をできるだけ抑制するものとなり、静止画に写る判別対象の画像の抽出精度を向上させることができる。

また、請求項５記載の移動体の画像判別装置、請求項１１記載の移動体の画像判別方法によれば、サポートベクターマシーンによる自動判別を行うことができる。

さらに、請求項６記載の移動体の画像判別装置、請求項１２記載の移動体の画像判別方法によれば、計測対象の個数を知るのが容易になる。

本発明の移動体の画像判別装置の実施形態の一例を示すブロック図である。 本発明の移動体の画像判別方法の実施形態の一例を示すフローチャートである。 静止画側画像抽出手段が判別対象の画像を抽出する手順を示すフローチャートである。 本発明の移動体の画像判別方法の他の実施形態を示すフローチャートである。 図４の前処理フェーズの手順を示すフローチャートである。 水中撮影用の機材を示す斜視図である。 視差ずれによる魚影の見え方の違いを説明するための図である。 シグマバンドを用いた魚影抽出を説明するためのグラフである。 動画から静止画への座標変換の概念を説明するための図である。 テンプレート照合による魚影探索の概念を説明するための図である。 評価実験に使用した動画のフレーム画像の例を示す図である。 動画と静止画の時刻同期（時刻同期）の用いた画像を示し、（ａ）は動画のフレーム画像の例を示す図、（ｂ）は静止画の例を示す図である。 対応付けの基準点を示し、（ａ）は動画フレーム上の基準点を示す図、（ｂ）は静止画上の基準点を示す図である。 画面内の位置と領域捕捉率との関係を示す図である。 画面内の高さと静止画に位置関係を示す図である。 Ｈａａｒウェーブレット特徴を示す図である。

以下、本発明の構成を図面に示す形態に基づいて詳細に説明する。なお、本実施形態では、判別の対象として水中の魚類を例に説明しているが、これには限られない。例えば、魚類以外の水中を泳ぎ回る動物、空中を飛び回る鳥類や昆虫等の動物等の判別に適用しても良く、あるいは、地上を平面的に移動する動物等の判別に適用しても良い。さらには、動物以外の移動体等の判別に適用しても良い。例えば、カラス、鳩、さぎ、すずめ等の鳥類が飛ぶなかで鳥害対策目的のカラスだけを判別し計数する場合や、道路を通行する車群の中から特定車種を判別し計数する場合等に適用可能である。さらに、動画中の位置情報に基づいて静止画から判別対象の精細な画像を得ることができることから、セキュリティ対策（泥棒の監視等）やマーケティング（来店客把握等）等にも適用可能である。

図１に本発明の移動体の画像判別装置の実施形態の一例を示す。移動体の画像判別装置（以下、単に画像判別装置という）は、同一方向から同一の計測領域を撮影する動画カメラ１及び当該動画カメラ１よりも画像解像度が高い静止画カメラ２と、動画カメラ１で撮影された動画から判別対象の位置を検出する動画側画像抽出手段３と、動画側画像抽出手段３が検出した画像の位置情報に基づいて同時刻の静止画から判別対象の画像を抽出する静止画側画像抽出手段４と、静止画側画像抽出手段４が抽出した画像に基づいて判別対象の種別を判別する種別判別手段５とを備えている。動画側画像抽出手段３、静止画側画像抽出手段４、種別判別手段５はコンピュータ６に専用のプロクラムをインストールし実行することで実現される。

画像判別装置を構成するコンピュータ６は演算部７、記憶部８、入力部９、表示部１０、送受信部１１を備えており、これらは相互にバス等の信号回路１２により接続されている。

演算部７は記憶部８に記憶されている制御プログラムによって画像判別装置全体の制御等にかかる演算を行うものであり、例えばＣＰＵ（中央演算処理装置）である。記憶部８は少なくともデータやプログラムを記憶可能な装置であり、例えばメモリ、ハードディスク等である。入力部９は少なくとも作業者の命令やデータ等を入力するためのインターフェイスであり、例えばキーボード及びマウス等である。表示部１０は演算部７の制御により文字や図形等の描画・表示を行うものであり、例えばディスプレイ、プリンタ等である。記憶部８には、処理を行う動画及び静止画、魚種を判別するための魚種データベース２０が記憶されている。

演算部７には制御プログラムを実行することにより、動画側画像抽出手段３、静止画側画像抽出手段４と、種別判別手段５が実現される。

動画側画像抽出手段３は、計測時間帯における動画の全フレームから魚影を抽出する。抽出した情報は、前後のフレームでの位置関係から、同じ魚影はまとめて、魚影ごとに整理する。例えば、魚影Ａが時刻ｔ１に出現し、画面内を移動して、時刻ｔ２に画面から消滅した場合、魚影Ａの時刻ｔ１からｔ２までの軌跡、各フレームでの形状をまとめて管理する。これは静止画像から抽出した魚影の重複計数を避けるためである。

本実施形態の静止画側画像抽出手段４は、動画側画像抽出手段３が検出した画像の座標を同時刻の静止画上の座標に変換する座標変換手段１４と、座標変換手段１４による変換座標を基準に静止画内で判別対象の画像を探索する画像探索手段１５とを備えている。

種別判別手段５は、機械学習手法によるパターン認識によって画像の判別を行うもので、本実施形態ではサポートベクターマシーン（ＳＶＭ：Support Vector Machine）を使用している。種別判別手段５は魚種データベース２０に登録されている魚影画像から特徴量を計算し、機械学習をすることで自動判別を行うための判別基準を作成し、画像探索手段１５が探索した魚影画像をこの判別基準に照らし合わせて魚種の自動判別を行う。魚種データベース２０は魚影画像とそのラベル（魚の種類の判別結果であり、魚の種類又は不明魚等の区分け）とを対応付けて記憶しているデータベースで、本実施形態では予め作成されて記憶部８に記憶されている。

また、本実施形態の種別判別手段５は、判別結果を整理し、魚種毎に計数して集計を行う。まず魚種が判明した魚影に関して、計測時間中に出現した回数を集計する。動画から得られた魚影の１つの軌跡に対して、出現回数を１回とする。これにより、魚種Ａは、平均サイズ：Ｓ１画素、Ｘ回出現、魚種Ｂは、平均サイズ：Ｓ２画素、Ｙ回出現、といった集計情報が得られる。

なお、魚種データベース２０との照合で魚種を判別することができなかった魚影については、不明魚影として処理が行われる。また、同じ一つの軌跡に対応する異なる静止画において魚種の判別結果が異なる場合にも、不明魚影として処理が行われる。そして、これらの魚影については後に人間によって魚種判別が行われ、魚影データベース２０に追加登録することで魚影データベース２０の改善が行われる。さらに、動画で魚影が検出されたにもかかわらず、静止画の撮影間隔の間に出現・消滅し、静止画に写っていない魚影に対しては、不明魚影軌跡として集計が行われる。

なお、本実施形態では、種別判別手段５は魚影サイズとして画像サイズ（画素数）即ち画面内での見た目のサイズを集計している。

動画カメラ１は動画を撮影可能なカメラで、例えばビデオカメラである。また、静止画カメラ２は静止画を撮影可能なカメラで、例えばデジタルカメラである。本実施形態では水中の画像を撮影するために、動画カメラ１及び静止画カメラ２として防水カメラ又は防水ケースに収容したカメラを使用する。

本発明は、動画と静止画の両方を用いて、魚影の検出・判別を行う点に特徴がある。動画は時間単位の画像枚数が多く、移動する対象を画像処理で抽出するのに適している。しかし解像度に劣り（例えば、普及型のビデオカメラでは、ハイビジョンつまり１９２０×１０８０画素が最大である。）、動画カメラ１から遠く離れた位置で撮影された魚影は小さくかつ不鮮明であるため、魚種判別には適していない。一方で、静止画像撮影用のスチルカメラ（静止画カメラ２）は高解像度であり（例えば、安価なコンパクト型で４５００×３４００画素以上を達成しており、年々解像度が増している。）、魚種判別に適している。ただしスチルカメラは時間単位の撮影枚数に制限があり、高速長時間撮影と高解像度撮影を両立する映像記録装置は普及していない。そこで本発明では、魚影の位置検出は動画で、魚影の種別判定は静止画像で行うようにし、役割分担をしつつ連携することで画像処理による自動判別を行う。

ここで、静止画カメラ２としては、いわゆるインターバル撮影もしくはタイムラプス撮影と称される一定時間間隔で自動撮影を行う機能を有していることが好ましい。この機能は、例えば５秒おき、または１０秒おきなど一定時間間隔で撮影する機能である。ただし、必ずしもこのような自動撮影機能を有していなくても良く、この場合には外部タイマーからの操作やマニュアル操作等によって一定時間間隔で撮影を繰り返し行うようにしても良い。

本実施形態では水中撮影を行うので、水中撮影用の固定治具１６を使用する。固定治具１６の一例を図６に示す。固定治具１６は金属製の網で形成された箱状の枠体であり、当該枠体に動画カメラ１及び静止画カメラ２が固定されている。枠体には錘１７が取り付けられている。固定治具１６はダイバーによって水中に沈められて撮影位置に設置される。固定治具１６として網を使用する理由は、主として海中の水の流れへの抵抗を少なくし、水流による移動を防止すためである。また環境影響を少なくしつつ、設置作業を容易にする目的もある。ただし、このような固定治具１６を使用せずに三脚等を利用して動画カメラ１及び静止画カメラ２を撮影位置に設置しても良い。

動画カメラ１と静止画カメラ２は同一の計測領域を同一方向から撮影するものであり、隣接させて配置することが好ましい。ここで「同一」には物理的同一が含まれることは勿論であるが、ここでの「同一」は必ずしも物理的同一でなくても良く、静止画側画像抽出手段４が動画と同時刻の静止画との位置の対応付けを行うことができる程度に同一方向から動画と静止画を撮影できれば「同一」に含まれる。即ち、動画カメラ１と静止画カメラ２との視差ずれを処理可能な範囲に抑えることができるものであれば「同一」とする。

２台のカメラ１，２を並べて設置する場合には視差ずれが生じる。２台のカメラ１，２の視差ずれを少なくするポイントは、２台のカメラ１，２を可能な限り接近させることである。また、２台のカメラ１，２の光軸は交差させずに並行にすることが望ましい。光軸を交差させると、２台のカメラ１，２の距離が近くても、近距離と遠距離で映り方が大きく変わってしまうためである。２台のカメラ１，２間の距離は、理想的にはゼロである。ゼロにする方法には、ハーフミラーを用いて同じ像を２分割する特殊な光学系（例えば、特許第４０５２３８２号「非接触画像計測装置」など）を製作する必要があり、一般的でなく装置が高価となる、また画像が暗くなる。また別の手段として、ビデオ映像を撮影できるデジタルカメラもあるため、ビデオ映像を撮影しつつ、同時に定期的にデジタルカメラで高解像度の静止画像を撮影するようなモードを有するカメラを利用することが考えられる。

２台のカメラ１，２の距離をゼロにできない場合、カメラ１，２の併置方法には、水平方向（横方向）に並べる方法と、垂直方向（縦方向）に積み上げる方法がある。ここで、どちらの並べ方でもカメラ１，２のレンズ間の距離が変わらない場合は、２台のカメラ１，２を縦方向に積み上げる方法が望ましい。これは魚は縦方向ではなく、横方向に移動することがほとんどだからである。２台のカメラ１，２の視差ずれにより、動画から抽出した魚影の位置が静止画中の多少異なる位置として計算されたとしても、そのずれが縦方向のずれであれば、魚は縦方向にはあまり移動しないため影響は小さい。一方で横方向のずれであると、魚が時々刻々移動するため、静止画像中で魚影の存在しない場所となり、静止画から魚影を抽出できなくなる可能性が高まる。

即ち、判別対象の主な移動方向を横方向と縦方向に分類した場合に横方向に分類されるときには動画カメラ１と静止画カメラ２を上下に配置することが望ましく、縦方向に分類されるときには動画カメラ１と静止画カメラ２を左右に配置することが望ましい。このように配置することで、２台のカメラ１，２の視差ずれによる影響を抑えることができ、静止画に写る判別対象の画像の抽出精度を向上させることができる。

カメラ１，２を設置する撮影位置は、少なくとも動画の一部のフレームと、少なくとも１枚の静止画に時間同期のための同期目印が写し込まれるように選択される。ここで、同期目印としては、例えば泳ぐダイバーや目立つ魚影など、動きがあって、動画のフレーム単位で変化の見分けがつく画像を選定することが好ましい。例えば、ダイバーの手の動きなどフレーム単位で変化のあるものを同期目印にしておくことで、フレーム毎の違いにもとづいて対応するフレームを見つけることができる。また、自然状態で計測領域に存在しないもの、例えばダイバー等を同期目印にする場合は計測（観察）を開始する直前の画像に同期目印を写し込むことが好ましいが、計測領域に自然状態で存在するものを同期目印にする場合等には計測開始後の画像に同期目印を写し込むようにしても良い。

動画カメラ１及び静止画カメラ２が撮影した画像のデータは内蔵メモリ内に記憶され、撮影終了後のカメラ回収後に取り出される。ただし、画像データの取り出しはカメラ回収後に限られず、例えば画像データの送受信装置を設けて通信を行うことでカメラ回収前に画像デーを取り出すようにしても良く、この場合には撮影直後にその都度その画像データを入手することができる。

動画カメラ１及び静止画カメラ２は、例えばダイバーによって設置時及び回収時に水中で操作される。ただし、例えば水上から遠隔操作するようにしても良い。動画カメラ１は計測時間帯において撮影を継続する。静止画カメラ２は計測時間帯において所定時間間隔で繰り返し撮影を行う。これらにより、計測時間帯にわたる動画と当該動画に対応する多数の時系列順の静止画群が取得される。

次に、本発明の移動体の画像判別方法（以下、単に画像判別方法という）について説明する。図２及び図３に画像判別方法を示す。画像判別方法は、動画カメラ１と当該動画カメラ１よりも画像解像度が高い静止画カメラ２とで同一方向から同一の計測領域を撮影して動画と当該動画に対応する多数の時系列順の静止画を取得し（ステップＳ４１）、動画カメラ１で撮影された動画から判別対象の画像の位置を検出する（ステップＳ４３）と共に、検出した位置情報に基づいて同時刻の静止画から判別対象の画像を抽出し（ステップＳ４４）、判別対象の種別を判別する（ステップＳ４５）ようにしている。動画からの判別対象の画像の位置検出は動画側画像抽出手段３によって自動的に行われ、静止画からの判別対象の画像抽出は静止画側画像抽出手段４によって自動的に行われ、判別対象の種別の判別は種別判別手段５によって自動的に行われる。

先ず最初に、動画及び静止画を取得する（ステップＳ４１）。計測領域を撮影できる撮影位置に動画カメラ１及び静止画カメラ２を設置し、撮影を開始する。その際、撮影後の動画と静止画との時間同期をできるだけ容易にするため、動画カメラ１の内蔵時計と静止画カメラ２の内蔵時計とをできるだけ合わせておくことが好ましい。また、本実施形態では、計測を開始する前に早めに動画カメラ１及び静止画カメラ２で撮影を開始し、計測を開始する前にダイバーが動画カメラ１及び静止画カメラ２前を横切るようにして同期目印を写し込んでおくようにしている。

計測時間の経過後、動画カメラ１及び静止画カメラ２を水中から回収して画像データを取り出し、例えばコンピュータ６の記憶部８に一旦保存しておく。だだし、他の記憶装置に保存しても良く、あるいは記憶部８に保存せずに直接処理を行っても良い。画像データは送受信部１１を介してコンピュータ６内に取り込まれる。

なお、本実施形態では実際に現場撮影を行って処理を行う動画及び静止画群を取得していたが、処理を行う動画及び静止画群が既に準備されている場合にはその画像データをコンピュータ６内に取り込むようにする。

次に、動画と静止画の撮影時間を同期させる（ステップＳ４２）。時間同期は、次のように行なわれる。ポイントは、静止画像に合わせる、である。まず静止画像中で、時刻合わせに使える同期目印のある最初の画像（ｉ）を探す。同期目印のある画像ｉが見つかったら、その画像ｉの時刻ｔを記録する。例えば「２０１０年８月１７日１０時４６分３５秒」であったとする。次に、ビデオ映像（動画）を再生し、画像ｉと同じ瞬間のコマ（フレーム）を同期目印を手掛かりにして探しだす。同期目印の写り方が同じものを探し出す。最終的にはコマ送りで探し、最も近いビデオ映像中のコマを見出し、そのコマの時刻をｔと再設定する。上述の例では「２０１０年８月１７日１０時４６分３５秒０００ミリ秒」とする。つまりビデオ映像のタイムスタンプは無視し、その時刻ｔを基準にビデオ映像の時刻を補正する。時間同期は、例えばオペレータによって行われる。なお、時間同期を行わなくても動画と静止画との撮影時刻を対応させることができる場合には時間同期を行わなくても良い。

次に、動画側画像抽出手段３が動画から魚影の位置を検出する（ステップＳ４３）。動画から動く対象を抽出する手法としては公知の手法を使用可能である。本実施形態では背景差分法を使用する。ただし、背景差分法に限られない。なお、背景差分法として、例えば特開２００５−３０９４８５号公報に開示されたものがある。背景差分法では、動画から検出対象以外の背景を表すデータ（背景データ）を作成し、それとある時刻のフレーム画像との差分により、移動体を抽出する。全く変化の無い実験環境で背景データを作るのは容易だが、実環境では多少の変化があるため、いかに適切な背景データを作成するかがポイントとなる。

本実施形態では、水面や水中など光のゆらぎが大きい環境で効果的に機能することを目的として、時間方向の色値の分散を考慮した背景データを作成する。具体的には、画面内の座標それぞれに対して、画素値の時間方向の平均と標準偏差を、一定時間の範囲で計算する。つまり画面サイズが横ｗ画素、縦ｈ画素の場合、ｗ×ｈ個の画素値の時間平均μと標準偏差σが得られる。計算機で用いられるＲＧＢ表色系の場合は、Ｒ，Ｇ，Ｂそれぞれに対し平均と標準偏差を求め、これらを背景データとする。この平均と標準偏差は、対応する範囲内での画素値の変動を表す。

差分の有無判定を図８で説明する。図８はある座標での輝度変化を表すグラフである。縦軸が輝度、横軸が時間を表す。当該座標での輝度は変化するものの、多くは一定の範囲（図で網掛けをした部分）に収まっている。この座標を、背景よりも明るい魚が通過すると、その時間帯だけ範囲を逸脱する。また逆に背景よりも暗い魚が通過すると逆に暗い方向に範囲を逸脱する。このようにして差分の有無を判定する。

具体的には、グレースケールで輝度のみを扱うとすると、ある時刻での、ある座標における輝度ｇに対し、［μ−βσ，μ＋ασ］の区間（シグマバンド）外にある場合に差分が生じたと判定する。ここでαとβは判定を調整するパラメータである（後述の実施例１の水中動画の場合はα＝β＝４．０とした）。ＲＧＢ表色系でのカラーの場合は、ｒ，ｇ，ｂそれぞれのシグマバンドのいずれかの外にある場合に差分が生じたと判定する。

なお、本実施形態では既に撮影済みの動画を対象としているため、時間区間ごとに平均と標準偏差を計算し、同時間区間で差分を検出する。なお、時間区間を長くすると水中の照明変動などに対応できなくなるが、短くしすぎると、逆に水中での光のゆらぎなどを吸収できず誤検出が多くなるため、時間区分を適正値にすることが好ましい（後述の実施例１では時間区間を５分とした）。

以上の処理を画面内の全座標に対して行うが、明るさの変動が極端に激しい場所や、暗い場所を黒い魚影が通過する場合など、画面内で部分的に魚影と区別がつかない場合は、差分が抽出できない。そのため抽出する画素は、魚影全体ではなくその一部となる。そのため一尾の魚から複数の領域を抽出することがある。そこで、本実施形態では座標が近い領域群を一定距離で結合し、魚影全体を表す領域を再構成する処理を施している。さらに、魚の移動を追跡するため、前後の動画フレームでの領域の対応付けを行う。本実施形態では、最終的には魚影の追跡をしばらく行ない魚の動きとして速度が速すぎるものを除外して、最終的に魚影と判定する。

魚影の位置検出は動画側画像抽出手段３が自動的に行う。動画側画像抽出手段３は魚影の位置検出を計測時間帯における全ての動画に対して行った後、ステップＳ４４に進む。

次に、静止画側画像抽出手段４が静止画から魚影を抽出する（ステップＳ４４）。静止画側画像抽出手段４による静止画からの魚影の抽出は、動画側画像抽出手段３によって検出された全ての魚影について行われる。ここで、例えば、時刻ｔ１の動画フレームに出現し、画面内を移動して時刻ｔ２の動画フレームの次の動画フレームで消滅した魚影Ａ（時刻ｔ１から時刻ｔ２の間の動画フレームに写っている魚影Ａ）については、時刻ｔ１から時刻ｔ２の間に撮影された静止画が魚影Ａが写っている動画フレームと同時刻の静止画となる。このとき、時刻ｔ１から時刻ｔ２の間に撮影された静止画が１枚であればその静止画が同時刻の静止画となり、当該静止画の撮影時間が時刻ｔａであったとすると、時刻ｔａに撮影された動画フレーム（正確に時刻ｔａに撮影された動画フレームが無い場合には時刻ｔａに最も近い時刻に撮影された動画フレーム）と時刻ｔａに撮影された当該静止画との間で座標変換が行われ、以降の処理が行われる。また、時刻ｔ１から時刻ｔ２の間に複数枚の静止画が撮影された場合には、これらの各静止画がそれぞれ同時刻の静止画となり、各静止画について以降の処理が行われる。ただし、時刻ｔ１から時刻ｔ２の間に複数枚の静止画が撮影された場合には、その中から１枚の静止画を選択して座標変換を行い以降の処理を行うようにしても良い。

本実施形態では、動画から検出された魚影の座標を静止画上の座標に変換する座標変換ステップＳ４８（図３）と、この変換座標を基準に静止画内で魚影を探索する魚影探索ステップＳ４９とを実行して静止画から魚影を抽出する。座標変換ステップＳ４８は静止画側画像抽出手段４を構成する座標変換手段１４によって実施され、魚影探索ステップＳ４９は静止画側画像抽出手段４を構成する画像探索手段１５によって実施される。ただし、このような手法に限られない。

本実施形態の座標変換ステップＳ４８では、複数のカメラ座標の変換方法として最も単純な線形変換方法を用いているが、これに限られない。魚影位置の座標の変換は座標変換手段１４が自動的に行う。図９を用いて線形変換方法を説明する。動画と静止画との間で対応付け可能な３点が基準点として予めユーザによって指定されている。基準点の指定は表示部１０に表示された画像を見ながら入力部９からの操作によって行われる。この指定は最初の座標変換時にのみ行われ、２回目以降の座標変換時には行われずに同一の基準点が使用される。基準点として例えば海底のサンゴや、ダイバーの手足、特徴的な色や模様の魚などを用いることが好ましいが、これに限られない。また、格子状の模様が描かれた板をカメラの前に掲示して、目印（基準点）にすることも可能である。

いま、動画上での基準点をそれぞれｐ１，ｐ２，ｐ３、静止画上の対応する基準点をｐ１’， ｐ２’，ｐ３’とする。これら３点のうち任意の１点、例えばｐ１を原点として、ｐ１からｐ２へのベクトルと、ｐ１からｐ３へのベクトルをそれぞれ単位ベクトルとする斜交座標系Ａｖを設定する。同様に動画上で原点とした点に対応するｐ１’を原点として、ｐ１’からｐ２’へのベクトルと、ｐ１’からｐ３’へのベクトルを単位ベクトルとする斜交座標系Ａｓを設定する。魚影位置の変換は、斜交座標系Ａｖ上での座標を、そのまま斜交座標系Ａｓでの座標とすることで行われる。基準点とした３点は水中の空間内の一つの平面を規定し、変換はこの平面内での対応付けを意味する。図７におけるＰ１平面が、この変換用の平面に対応する。よって原理的には、この平面内を魚が移動する範囲では、対応付けは正確に行われる。しかしながら視差ずれの影響で、魚影がこの平面から離れると、動画カメラ１で同じ場所に見える魚影が、静止画カメラ２では異なる位置に見える。このずれは、平面Ｐ１から魚影が離れれば離れるほど大きくなる。なお、現実のレンズには歪があるため、中心部と周辺部では単位ベクトルの長さや向きが若干変わる。これを正確に再現するには、画面全体を覆う格子縞などを目印として、画面内を細かく分割して対応付けることで対応できる。ただしこのずれは、視差ずれの影響に比べて軽微であり、無視することも可能である。

魚影探索ステップＳ４９では、静止画上で魚影を探索する。これは、斜交座標系Ａｓへの変換座標が、視差ずれにより実際の魚影の座標を示していなくとも、同じ時刻の画像であれば、変換座標の近傍に魚影が見当たる筈との仮定に基づく。

図１０を用いて探索方法を説明する。まず座標変換ステップＳ４８で対応付けられた静止画上の座標を中心に、一定の探索範囲を設定する。その範囲で、動画フレーム中の魚影領域の画像をテンプレートとして、類似の画像を探索する。具体的な手順は以下のとおりである。

まず、動画側画像抽出手段３が検出した動画フレーム上の魚影を含む長方形の魚影領域の画像１８を、同時刻の静止画像上のサイズに合わせて線形変換により伸縮し、これをテンプレート１９とする。テンプレート１９の横幅をｗ、縦の長さをｈとした場合、座標変換ステップＳ４８で得られた静止画上の対応点を中心に、ａｗの横幅、ｂｈの縦の長さの探索範囲２２を設定する。ここでａ，ｂは探索範囲の広さを調整するパラメータである（後述の実施例１ではａ＝５，ｂ＝３とした）。探索範囲２２内をスキャンし、テンプレート１９と最も類似度の高い画像を、魚影とする。なお、本実施形態では、魚が写っている部分を含む長方形の画像を静止画側画像抽出手段４が抽出した魚影としている。

テンプレートサイズにより探索範囲を変える理由は、カメラに近いほど視差が大きくなることを考慮し、大きく見える場合は近い位置にあると見なし、探索範囲を広くするためである。

なお、探索範囲を画面全体など広く取らなかった理由は以下のとおりである。動画と静止画では視点の違い等により、見え方がかなり異なる。そのため画面に複数の魚影がある場合、テンプレート１９との類似度で区別するのは困難な場合が多く、探索範囲を広げるほど、照合ミスの可能性が増える傾向にある。よって、できるだけ探索範囲を絞り込む必要があるためである。

本実施形態では、類似度の判定には、グレースケールでの正規化相互相関を用いる。グレースケールとした理由は、動画と静止画でホワイトバランスの違いにより色が異なるためである。正規化相互相関を用いた理由は最も代表的かつ実用的な、テンプレート照合方式であるためである。

魚影の探索は座標探索手段１５が自動的に行う。

静止画側画像抽出手段４は、動画側画像抽出手段３が検出した魚影の全てについてステップＳ４８とＳ４９を繰り返し行う。その後、図２のステップＳ４５に進む。

次に、種別判別手段５が魚種の判別を行う（ステップＳ４５）。本実施形態では魚種の判別と共に魚のサイズも判別するようにしているが、サイズの判別は行わなくても良い。種別判別手段５は、静止画側画像抽出手段４が抽出した魚影の画像を、予め記憶部８に記憶されている魚種データベース２０に基づいて作成された判別基準に照らし合わせてパターン識別を行い魚種を判別すると共に、魚影画像の画素数からサイズを判別する。また、種別判別手段５は判別した魚影と魚種を魚種データベース２０に追加し登録し、次回の判別の精度を向上させる。本実施形態の種別判別手段５は判別の手段としてサポートベクターマシーンを使用している。

種別判別手段５は判別結果を表示部１０に出力する。本実施形態の種別判別手段５は、魚種毎に魚の数とサイズを集計して表示部１０に出力するようにしているが、必ずしもこれに限られない。結果を集計して表示部１０に表示することで、計測結果がわかりやすくなる。

なお、魚種の集計は、全ての魚種又は主立った魚種を対象にしても良いし、一又は複数の特定の種類を対象にしても良い。例えば、調査対象の一又は複数の魚種を予め定めておき、調査対象の魚種については魚種毎に集計を行い、調査対象以外の魚種についてはその他の魚種として一纏めにして集計を行うようにしても良い。

なお、魚種データベース２０との照合で魚種を判別することができなかった魚影については、不明魚影として処理される。また、動画から検出された同じ魚影について、対応する異なる静止画で魚種の判別結果が異なる場合にも、不明魚影として処理される。そして、これらの魚影については後に人間によって魚種判別が行われ、魚影データベース２０に追加登録することで魚影データベース２０の改善が行われる。さらに、動画で魚影が検出されたにもかかわらず、静止画の撮影間隔の間に出現・消滅し、静止画に写っていない魚影に対しては、不明魚影軌跡として集計が行われる。

魚種及びサイズの判別とその集計、並びにそれらの結果の表示は種別判別手段５によって自動的に行われる。

本発明によれば、動画に基づいて魚影を検出するので検出精度を向上させることができると共に、静止画に基づいて画像判別を行うので判別精度を向上させることができる。即ち、動画と静止画の特徴を利用するので、効率的に精度の良い判別を行うことができる。また、画像処理による自動判別であり、人手による労力を抑えることができると共に、オペレータの知識量・習熟度等による判別結果のばらつきを防止して客観性の高い結果を得ることができる。

また、計測時間帯の計測領域は無人であり、ダイバーが魚類の行動等に影響を与えることが無いので、通常時の状況をそのまま計測できると共に、魚類を撮影するだけであり捕獲による生物資源の減少を引き起こすこともない。

また、本発明では２台のカメラ１，２を使用している。通常、２台のカメラを使用する場合には以下の問題があるが、本発明ではこれらの問題を解決している。即ち、動画カメラ１と静止画カメラ２とを使用する場合、動画と静止画を対応付ける必要がある。異なる撮像系で撮影した動画と静止画には、（１）時間的なずれと（２）空間的なずれ（視差ずれ）があり、補正が必要となる。

（１） 時間的ずれ
魚は移動するため、動画と静止画の時刻が合っていないと撮影されている魚の位置が異なり、連携は困難になる。なお、動画カメラ１と静止画カメラ２の内蔵時計は撮影前に可能な範囲で合わせるものとするが、この時点で１秒以内の同期精度を確保するのは困難である。この誤差は、主にスチルカメラのメカニズムとタイムスタンプ（撮影時刻情報）の精度に原因がある。

例えば１０秒ごとに撮影すると設定したスチルカメラのインターバル撮影は、正確に１０秒０ミリ秒ごとに撮影されるわけではない。まず、フォーカシングなどの物理的機構や、画像圧縮・保存などの電子回路の処理に必要な時間によって多少のずれが生じる。さらにタイムスタンプは秒単位の情報しか無いため、これらミリ秒単位のずれは記録されない。よってタイムスタンプで、１０秒、２０秒、３０秒に撮影したと記録されている画像は、１０秒前後、２０秒前後、３０秒前後の水中の状況を記録していることになる。つまり動画と静止画の連携では、この時間的ずれを前提に対応付けをする必要が生じる。

これに対し、本発明では、同期目印を用いることで動画と静止画との時間同期を可能にし（ステップＳ４２）、処理を可能にしている。

（２） 視差ずれ
次に、もし動画と静止画が全く同じ時刻に撮影されたとしても、撮影された画像には違いが生じる。これはビデオカメラとスチルカメラが空間的に離れていることに由来する「視差」の違いが原因である。

視差ずれは、人間の右目と左目のように、２台のカメラ１，２間（レンズの光軸間）に距離があるために、像がずれるという現象である。このずれは２台のカメラ１，２の間が離れれば離れるほど大きくなる。また、ずれはカメラの近くほど大きく、遠方では小さい。

図７に基づいて視差ずれの影響を説明する。図７の左側にビデオカメラとスチルカメラがあり、図７の右側方向を撮影している。２つのカメラ間には離隔がある。ここで説明のため、図７の右側のＰ０面をカメラの撮像面とする（実際にはレンズの裏側にある）。この例で、ｆ１，ｆ２，ｆ３の位置にいる３尾の魚は、ビデオカメラから見ると、すべて撮像面上のＦ０の位置に見える。これはビデオカメラとＦ０を結ぶ直線上にいるためである。一方スチルカメラから見ると、これらの魚はＦ１，Ｆ２，Ｆ３という異なる位置に見える。

上述したように、本発明では、動画から得た魚影位置から、静止画上の位置を推定する、という手段を取る。しかし、これはＦ０の位置情報のみから、Ｆ１，Ｆ２，Ｆ３の位置情報を推定するという問題であり、解を求めるために必要な情報が不足している不良設定問題となる。

これに対し、本発明では、座標変換手段１４が動画フレームから抽出した魚影の座標を静止画上の座標に変換し、画像探索手段１５がこの変換座標を基準に静止画内で魚影を探索するようにしているので、動画と静止画との位置の対応付けの精度が良くなり（ステップＳ４８，Ｓ４９）、静止画に写る判別対象の画像の抽出精度を向上させることができる。

なお、上述の形態は本発明の好適な形態の一例ではあるがこれに限定されるものではなく本発明の要旨を逸脱しない範囲において種々変形実施可能である。

例えば、上述の説明では、種別判別手段５は既に作成されている魚種データベース２０を用いて魚種の判別を行っていたが、魚種データベース２０を作成しながら処理を行うようにしても良い。

この場合の手順を図４及び図５に示す。なお、上述のステップと同じ処理を行うステップには同一の番号を付してそれらの説明を省略する。上述のように魚種データベース２０を用いた魚種判別を行う実行フェーズＳ５０を行う前に、前処理フェーズＳ５１を行って魚種データベース２０を作成している。取得した動画と静止画の一部に対して前処理フェーズＳ５１が行われ、残りの動画及び静止画に対して実行フェーズＳ５０が行われる。実行フェーズＳ５０では上述のように種別判別手段５が魚種データベース２０を用いて自動的に魚種判別を行うが、前処理フェーズＳ５１では、魚種の判別を人間が行って入力し、魚影の魚種判別と魚種データベース２０の作成が同時に行われる。

前処理フェーズＳ５１では、動画側画像抽出手段３による魚影位置の検出（ステップＳ３）と静止画側画像抽出手段４による魚影の抽出（ステップＳ４４）が実施された後、魚種入力ステップＳ５２が実行される。

魚種入力ステップＳ５２では、静止画側画像抽出手段４が抽出した魚影をデータベース作成補助手段２１が表示部１０に表示し、入力部９からの魚種（ラベル）の入力を待つ。そして、オペレータによってラベルが入力されると、データベース作成補助手段２１は表示した魚影とラベルとを関連づけて登録し、魚種データベース２０を作成する。ラベルの入力とデータベースへの登録は各魚影毎に行われる。

そして、前処理フェーズＳ５１で処理される全ての魚種についてラベル入力とデータベース登録が行われると、実行フェーズＳ５０が実行されて残りの魚影について魚種の自動判別が行われる。実行フェーズＳ５０では、前処理フェーズＳ５１で作成され魚種データベース２０を使用して魚種の自動判別が行われる。

データベース作成補助手段２１は、コンピュータ６が制御プログラムを実行することで、演算部７に実現される。

なお、魚影データベース２０の作成するためのラベルの入力では、ラベル付け支援ツールを使用しても良い。ラベル付け支援ツールはラベル付け用のユーザインターフェースを備えたソフトウェアであり、画像探索手段１５が探索を行う探索範囲２２を示す枠を静止画上に重ねて表示し、魚影の拡大表示、枠の移動・形状変更と、ラベル付け（入力）を行うことができるようにしたものである。ラベル付け支援ツールは、コンピュータ６にインストールされて実行される。

また、上述の説明では、ステップＳ４５において魚影の画素数に基づいて魚のサイズを判別していたが、このように見た目のサイズではなく、実際の魚のサイズを推定しても良い。例えば、撮影時にカメラ１，２と魚との距離を測定しておき、測定した距離と撮影された魚影のサイズ（画素数）に基づいて実際の魚のサイズを算出するようにしても良い。なお、魚との距離を測定する測定装置としては、例えば市販の多眼ビデオカメラやレーザレンジファインダ等の使用が可能であるが、これらに限られない。また、２台のカメラ１，２に加えて、もう１台別に動画カメラを設置し、２台の動画カメラで取得した同一の魚影の視差から距離を算出しても良い。さらに、静止画像を記録するデジタルカメラ（静止画カメラ２）として３Ｄデジカメ（レンズが２個ついたデジカメ）を利用して同時に撮影した静止画の視差から距離を算出しても良い。３Ｄデジカメは視差が小さいため距離分解能は低いが、２個のレンズの光学系が正確に整合しているため、画像処理により距離を算出するのは容易である。

また、魚の移動速度は魚のサイズと関係があるため、軌跡の平均移動速度（単位時間あたりの移動画素数）から、魚のサイズを推定することも可能である。

また、上述の説明では、動画と静止画との対応付けについて、画像探索手段１５が座標変換手段１４によって対応付けられた静止画上の座標を中心に探索範囲２２の画像探索を行っていた（ステップＳ４９）が、動画上の座標が静止画上の座標に１対１で対応する場合、例えば判別対象が地上を這いまわる動物（人間を含む）等の移動が平面的なものの場合等には、座標変換手段１４によって対応付けられた静止画上の座標に魚影が存在するので、探索範囲２２の画像探索を省略しても良い。

本発明を評価するため、水中撮影した動画・静止画を用いた評価実験を行った。評価には沖縄県渡嘉敷郡座間味村阿嘉島のマジャノハマ沿岸の水深１ｍに設置したビデオカメラとスチルカメラにより、２０１１年８月２０日に撮影した２６分（１４時４１分から１５時１７分）の映像（ＤＶフォーマット）と、同時に撮影した静止画像１５７枚（１０秒毎に撮影、４０００×３０００画素）を用いた。ビデオカメラとスチルカメラの間はおよそ２０ｃｍ離れている。当該地点はサンゴ礁が発達し、魚類が豊富に生息しており、本発明の性能評価に好適である。

（１．動画からの魚影の検出についての評価）
水中映像の先頭フレーム画像を図１１に示す。カメラの設置位置の前方にサンゴがあり、画面の下部３分の１ほどを占めている。動画はＤＶフォーマット、ワイド化された横７２０画素、縦３６０画素の画像、インターレースである。

評価対象は、静止画が記録された時刻と同時刻のフレーム画像１５７枚とした。評価の基準となる魚影は、１５７枚全てのフレームを表示し、前後をコマ送りして、目視で見出されたすべての魚影とした（なお、５０画素以下の魚影は下記の下限サイズパラメータとの関連で、検出対象に含めなかった）。

これに対し、本発明を用いて魚影検出を行った結果、正答数：１０５０尾に対し、見落とし数：１４６尾、間違い数：２０尾となった。よって、適合率（Ｐｒｅｃｉｓｉｏｎ）＝１０５０／（１０５０＋２０）＝９８．１％、再現率（Ｒｅｃａｌｌ）＝１０５０／（１０５０＋１４６）＝８７．８％である。

パラメータ設定は以下とした。シグマバンドの幅調整係数：α＝β＝４．０、平均と標準偏差を求める時間幅：３００秒、魚影の最大速度：２０画素／フレーム、魚影サイズ上限：５０００画素、下限：５０画素、魚影と確定するまでの最小追跡回数：３である。本発明を実装したソフトウェアでは、これらパラメータは画像処理をリアルタイムに行いながら調整できるため、動画先頭から３００秒の処理状況を見ながら、好適なパラメータを調整した。

処理への影響が大きいパラメータはシグマバンドの幅調整係数であり、設定値を小さくすると、サンゴ表面で明滅する光など、光のゆらぎで誤計測をしてしまうため、それを防ぐ設定値とした。抽出結果は上述のように、見落とし数が多少多いため、最適なパラメータはもう少し小さい可能性がある。

見落としは以下の場合に発生した。まず、光のゆらぎの大きいサンゴ表面などでは、シグマバンドが大きくなり、明るい魚の姿を見落とすことがあった。逆に、サンゴの影になる常時暗い場所では、黒い魚を見落とすことがあった。これらは目視でも見出すのが難しく、動画を再生することで始めて見いだせた。また画面上で魚影が重なったり接触したりした場合には、魚影を一つとみなし、見落とすことがあった。

一方で、間違いのほとんどは、大きな一尾の魚を２つ以上に分割してしまう場合であった。光のゆらぎなど背景の明度変化を魚影と間違うことは、ほとんど無かった。

（２．静止画からの魚影抽出についての評価）
（１） 動画と静止画の時刻合わせ
動画と静止画のタイムスタンプは撮影した状態では合っていない。そこで、動画の時刻を静止画に合わせた。具体的には以下のように行った。まず、計測時間帯の前に撮影された静止画の中で、泳ぐダイバーや目立つ魚影など、動きがあって、フレーム単位で変化の見分けがつく画像（同期目印が写し込まれている静止画）を選定する。その静止画の時刻がＨ時Ｍ分Ｓ秒であったとする。動画中で、その静止画と同じフレーム時刻を、Ｈ時Ｍ分Ｓ秒０ミリ秒とする。動画の各フレーム時刻は、この再設定された時刻から、フレーム数換算で再計算する。今回用いた映像はＮＴＳＣであるため、秒あたり２９．９７フレームである。今回用いた時刻合わせ用のフレーム画像を図１２に示す。

（２） 対応付けの基準点設定
本発明では、動画と静止画の座標を対応付ける３つの基準点となる、何らかの目印が必要である。今回は、図１３に示すように、サンゴの右端と左端の目印になる箇所、サンゴよりは少し遠い位置、上方に泳ぐ他と区別のつく魚影を基準点とした。前述したように、この３つの基準点を含む平面から離れると、座標変換の結果と実際の魚影位置がずれる。基準点の選定方針は、カメラから奥行き方向の中距離に、縦と横になるべく幅を取って設定するというものである。カメラの視野はカメラ近傍が狭く、遠方が広いため、現れる魚影の数は遠方が多い。一方でカメラから離れるに従って、魚影は小さく・不鮮明になり静止画上でも魚影判定ができない。そのため重点的に計測すべきは、その中間となるため、中距離に基準点を設けることとした。また、基準点間の距離を離すのは、動画と静止画の基準点設定の誤差の影響が少なくなるようにするためである。基準点間が接近していると、数画素の違いが基準点から離れた端の方で大きな違いになって現れる。

（３） 対応付けの精度
魚影対応付けの評価のためには、静止画上の正しい魚影位置が必要である。正しい魚影位置を入力するために、ラベル付け支援ツールを開発して使用した。ラベル付け支援ツールはラベル付け用のユーザインターフェースを備えたソフトウェアであり、画像探索手段１５が探索を行う探索範囲２２を示す枠を静止画上に重ねて表示し、魚影の拡大表示、枠の移動・形状変更と、ラベル付け（入力）を行うことができるようにしたものである。

評価指標には、領域捕捉率を定義して用いた（数式１）。

＜数１＞
領域捕捉率＝抽出領域と魚影領域の重なる面積÷魚影領域の面積

ここで、抽出領域とは静止画側画像抽出手段４が抽出した魚影（即ち、魚が写っている部分を含む長方形の画像領域）であり、魚影領域とは実際に写っている魚の部分を囲む最小長方形である。つまり、静止画側画像抽出手段４が自動抽出した領域が、正しく魚影を覆っている場合に１００％、全く重なりが無い場合に０％となる指標である。魚影に対応する全８１７領域に対して、座標変換のみの場合、平均４７．３％、魚影探索を行った場合、平均７０．８％となった。

画像探索手段１５の探索範囲の広さを調整するパラメータである探索範囲係数はａ＝５．０，ｂ＝３．０とした。横に広い（ａ＞ｂ）とした理由は、使用された２台のカメラ１，２が左右に併置されており、視差ずれが横方向に大きいためである。

評価に用いた母数８１７が、上述の抽出魚影領域１０５０（１０５０尾）よりも少ない理由は、動画には現れていても、静止画には現れていない魚影がいたためである。そのような領域は、海底や海水など魚影の無い領域に対応付けられる。現れない理由は、スチルカメラでは撮影できない画面の外に魚がいる場合と、時間ずれの影響で魚影が動画とは異なる位置に移動している場合がある。

なお、魚影探索まで行なっても、領域捕捉率が０％の領域は１１４あった。これらは主に画面の下部で発生している。図１４に画面上端からの縦方向の画素数に応じた領域捕捉率を示す。縦軸は動画のサイズに合わせて縮小した静止画での縦方向の画素数であり、静止画の縦幅を６００画素としている（図１５）。これから、画面の最下部のエリアでの捕捉率が３６．８％と低いことがわかる。

対応付けに失敗した例を分析した結果、原因は以下３つであることがわかった。まず座標変換により、魚影探索の初期位置として与えた座標が、視差ずれの影響により大きく異なっているため、探索範囲に魚影が無い場合である。視差ずれはカメラに近いほど大きい。次に、サンゴなど魚影と区別の付きづらい背景にいる場合、魚ではなくサンゴを選んだ場合があった。これは動画と静止画で色や解像度が異なることも影響している。最後に、動画と静止画との時間ずれの影響で、魚の向きや角度が、動画と静止画で大きく異なり、類似画像となっていない場合である。いずれの条件も画面下部で多く発生するため、領域捕捉率が画面下部で低くなっている。

（３．魚種の判別についての評価）
（１） 画像データベースの作成
魚種判別の評価のため、静止画側画像抽出手段４が抽出した魚影領域に対応した、画像データベースを作る必要がある。そこで、静止画側画像抽出手段４が抽出した１０２１の魚影領域すべてに専門家によるラベル付けを行った。ラベル付けは、ラベル付け支援ツールを用い、数式１の領域捕捉率が１００％になるように正しい魚影位置に修正した後、行った。なお、抽出領域は魚影だけでなく、サンゴや海底、海水中など、魚影以外も含んでいる。上述の抽出魚影領域１０５０（１０５０尾）より少ない理由は、同じ領域に重なった領域を除外したためである。ラベルは表１の４種類とした。

それぞれの領域数は、スズメダイ：３３２、その他の魚類：４２、不明魚：４８５、魚以外：１６２となった。また、それぞれの領域の平均サイズ（静止画像を８００×６００画素とした場合の画素数）は、スズメダイ：２２９２、その他の魚類：３７１１、不明魚：９８０、魚以外：３４６５となり、サイズが小さい魚影は判定が困難であった。また画面上端からの距離範囲ごとに、各領域の数を表２に集計した。これから画面上部ほど不明魚の数が多いことがわかる。画面上部はカメラから遠い魚影も撮影されるため、判別のできない魚影が多く現れる。なお、魚以外の領域数が上端に多いのは、静止画撮影時刻が遅れ、魚が画面外に泳ぎ出たためである。

（２） 魚影とそれ以外の判定性能
魚種判別の機能として、まずは魚と魚以外を区別する必要がある。そこで自動判定の初歩的なトライアルとして、不明魚も含めた魚影と、魚以外を自動判別することを試みた。自動判定の対象領域は、専門家が魚影位置を修正しラベル付けした領域である。特徴量としては、人物検出で良好な性能を示した模様特徴量（中島慶人：「既設監視カメラを用いた高速な侵入者検知方式」，電力中央研究所研究報告，Ｒ０４００７，２００５）を採用した。具体的には領域画像を縦：６４画素、横：６４画素に縮小し、２次元Ｈａａｒウェーブレットで得られたＬＨ成分とＨＬ成分の計５１２個を用いた（図１６）。学習器にはＳＶＭを用い、カーネルには自然画像に適しているとされるＲＢＦカーネルを採用した。データの３／４をランダムに選択して学習に用い、残り１／４を評価に用いるクロスバリデーションを、ＲＢＦカーネルのパラメータであるγを変えて、各５０回行った結果を表３に示す。魚影とそれ以外の判定は約９４％で可能であることが示された。

今回の撮影ではスズメダイ以外はほとんど撮影できていないため、魚種の判定性能は評価しなかった。

評価実験の結果を以下に整理する。動画からの魚影の検出については適合率９８．１％、再現率８７．８％と評価に用いた動画に対して高い検出性能を示した。静止画からの魚影の抽出では、領域捕捉率で評価し、座標変換のみでは平均４７．３％の領域捕捉率であったのに対し、テンプレート照合を用いた魚影探索を加えることで、平均７０．８％の魚影捕捉率となり、本発明の効果を確認した。魚種の判別については、魚影データベースが未整備であることから、初歩的なトライアルとして、魚影であるか否かを判定させたところ９３．８％の精度で判定できたことから本発明によって魚種の自動判別が可能であることを確認できた。

１ 動画カメラ
２ 静止画カメラ
３ 動画側画像抽出手段
４ 静止画側画像抽出手段
５ 種別判別手段
１４ 座標変換手段
１５ 画像探索手段
２０ 魚種データベース

Claims (12)

1. 同一方向から同一の計測領域を撮影する動画カメラ及び当該動画カメラよりも画像解像度が高い静止画カメラと、前記動画カメラで撮影された動画から判別対象の画像の位置を検出する動画側画像抽出手段と、前記動画側画像抽出手段が検出した画像の位置情報に基づいて同時刻の前記静止画から前記判別対象の画像を抽出する静止画側画像抽出手段と、前記静止画側画像抽出手段が抽出した画像に基づいて前記判別対象の種別を判別する手段とを備えることを特徴とする移動体の画像判別装置。
2. 少なくとも前記動画の一部のフレームと少なくとも１枚の前記静止画には、時間同期のための同期目印が写し込まれていることを特徴とする請求項１記載の移動体の画像判別装置。
3. 前記静止画側画像抽出手段は、前記動画側画像抽出手段が検出した画像の座標を同時刻の前記静止画上の座標に変換する座標変換手段と、前記座標変換手段による変換座標を基準に前記静止画内で前記判別対象の画像を探索する画像探索手段とを備えることを特徴とする請求項１記載の移動体の画像判別装置。
4. 前記判別対象の主な移動方向を横方向と縦方向に分類した場合に横方向に分類されるときには前記動画カメラと前記静止画カメラは上下に配置されたものであり、縦方向に分類されるときには前記動画カメラと前記静止画カメラは左右に配置されたものであることを特徴とする請求項１記載の移動体の画像判別装置。
5. 前記判別対象の画像と種別を対応付けたデータベースを備えており、前記判別対象の種別を判別する手段はサポートベクターマシーンであり、前記データベースを参照してパターン識別を行い判別を行うことを特徴とする請求項１記載の移動体の画像判別装置。
6. 前記判別対象の種別を判別する手段は前記判別対象を計数することを特徴とする請求項１記載の移動体の画像判別装置。
7. 動画カメラと当該動画カメラよりも画像解像度が高い静止画カメラとで同一方向から同一の計測領域を撮影して動画と当該動画に対応する多数の時系列順の静止画を取得し、前記動画カメラで撮影された動画から判別対象の画像の位置を検出すると共に、検出した位置情報に基づいて同時刻の前記静止画から前記判別対象の画像を抽出し前記判別対象の種別を判別することを特徴とする移動体の画像判別方法。
8. 少なくとも前記動画の一部のフレームと少なくとも１枚の前記静止画に同期目印を写し込んでおき、前記同期目印に基づいて前記動画と前記静止画との撮影時間を同期させることを特徴とする請求項７記載の移動体の画像判別方法。
9. 前記静止画からの前記判別対象の画像の抽出は、前記動画から検出された前記判別対象の画像の座標を前記静止画上の座標に変換した後、この変換座標を基準に前記静止画内で前記判別対象の画像を探索することで行われることを特徴とする請求項７記載の移動体の画像判別装置。
10. 前記判別対象の主な移動方向を横方向と縦方向に分類し、横方向に分類される場合は前記動画カメラと前記静止画カメラを上下に配置し、縦方向に分類される場合は前記動画カメラと前記静止画カメラを左右に配置することを特徴とする請求項７記載の移動体の画像判別方法。
11. 前記判別対象の画像と種別を対応付けたデータベースを参照しながらパターン識別を行い前記判別対象の種別を判別することを特徴とする請求項７記載の移動体の画像判別方法。
12. 判別した判別対象を計数することを特徴とする請求項７記載の移動体の画像判別方法。

Images