JP5321835B2 - 画像データ処理装置およびコンピュータプログラム - Google Patents

Description

本発明は、所定の空間領域における移動体を撮影する際の画像データ処理装置および画像データを処理するためのコンピュータプログラムに関する。

従来、所定の空間領域における移動体を撮影し、その移動体の動きを解析するためには、ＰＴＶ処理を実行するのが一般的であった。
また、そのＰＴＶ処理をするためには、画像データにおける移動体の背景が邪魔なので、その邪魔な背景を消すために、時間差分法という処理を実行するのが一般的であった。

時間差分法とは、時間的に連続する二枚の画像データから差分が存在する画素を抽出するのである。移動体を捉えた画素は、時間的に次の画像データにおいては異なる画素に移動しているため、差分がゼロとはならない。しかし、二枚の画像データにおいて同じ画素については、差分の結果、輝度がゼロになるる。これによって、移動体とは無関係な背景の画像データを消すことができるのである。
なお、時間差分法を用いた画像処理技術については、たとえば特許文献１に開示されている。

ところで、環境アセスメントの一環として、所定の空間領域（たとえば建造物を建造する予定地）に対する鳥などの飛来物を検知し、その検知した情報を分析するといったことが行われている。 その飛来物の検知には、複数（たいてい２台）のカメラで飛来物を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（たとえば、ＰＴＶのステレオペアマッチング）、という手法が採用されている。すなわち、一致した粒子や画素について、三次元における速度や位置の情報に変換し、飛来物の軌跡を三次元データとして求める。
このような飛来物の検知方法を応用することによって、たとえば風力発電装置に飛来物が近づいているか否かを判断して、風力発電装置の減速または停止の制御に用いることができる。また、野鳥の飛行観察や行動調査にも、同様に三次元の飛行軌跡を求める手段が用いられている。

所定の空間領域に対する飛来物調査においては、対象となる空間を撮影するためのステレオ撮影実行のために設置される２台のカメラの距離は、５０メートル以上である場合が多い。風力発電装置が複数設置することを予定しているウィンドファームなどの場合には、数キロメートルに達する場合もある。

特開２００９−１５７４９２号公報

さて、移動体を撮影したい所定空間が撮影場所から遠い場合には、撮影データにおける一画素あたりの面積は近い場合に比べて大きくなる。 すると、移動体の全体でも一画素に収まってしまう場合も出てくる。 更に、その場合、次の時刻の撮影データにおいても、移動体が移動しているにもかかわらず、同じ画素内でしか移動していない、という事態も出てくる。
より具体的には、移動体を鳥などの飛翔体とした場合、撮影場所から遠い場所でホバリングをしていると、数秒間にわたって一画素に収まってしまうことがある。
このような事態にあっては、前述した時間差分法を用いると、移動体を捉えた画素であっても、輝度ゼロとして処理されてしまうこととなる。

上記のような事態を回避するため、移動体が撮影データ内に入っていない状態の撮影データを基準背景画像とし、その基準画像と移動体を捉えた画像データとを時間差分法にて処理する、という手段を用いる。
ところが、基準背景画像を用いる手段は、屋外での撮影においては短時間しか使うことができない。 日照や天候などの条件が時々刻々と変化するためである。 無理に基準背景画像を使おうとすると、時間差分法処理を施した処理後のデータに多くの雑音が残ってしまうこととなる。

特許文献１に開示された技術は、画像処理の対象となる移動体が自動車であり、前述した鳥のホバリングなどに該当するような動きはそもそもあり得ない。そのため、こうした課題を解決する手段は開示されていない。

本発明が解決しようとする課題は、移動体の撮影画像の処理に時間差分法に対して合理的な前処理をすることによって、的確な時間差分法処理を可能とする技術を提供することを目的とする。

（第一の発明）
本願における第一の発明は、 時系列に連続する画像データを撮影してその画像データに写った移動体を検出して移動軌跡を解析するための装置に係る。
すなわち、時系列に連続撮影された画像データを入力する画像入力手段と、 その画像入力手段に入力された画像データに対して最小単位の時間差による時間差分法を実行する時間差分法・仮実行手段と、 その時間差分法・仮実行手段にて処理された処理画像から移動体を検出する移動体検出手段と、 その移動体検出手段にて移動体が十分に検出できなかった場合に、前記時間差分法・仮実行手段において実行する画像データの時間間隔を変更し、前記時間差分法・仮実行手段に時間差分法を再実行させる時間差変更手段と、 前記移動体検出手段が移動体を十分に検出した場合に、その時間間隔において時間差分法を本実行して前記画像データを処理する時間差分法・本実行手段と、を備えた移動体画像データ処理装置である。

「時間差分法・仮実行手段」とは、移動体を含んだ画像データに対して時間差分法による処理を施し、移動体が検出できるか否かを検証する手段である。
時間差分法によって移動体の画像を処理する場合、移動体の大きさはさほど問題とはならず、移動体の移動速度が最も重要であるということが、経験的に把握されている。

（作用）
時系列に連続撮影された画像データを画像入力手段が入力する。 その画像入力手段に入力された画像データに対し、時間差分法・仮実行手段が最小単位の時間差による時間差分法を実行する。そして、その時間差分法・仮実行手段にて処理された処理画像から移動体検出手段が移動体を検出する。 その移動体検出手段にて移動体が十分に検出できなかった場合には、前記時間差分法・仮実行手段において実行する画像データの時間間隔を時間差変更手段が変更する。そして、前記時間差分法・仮実行手段に時間差分法を再実行させる。 前記移動体検出手段が移動体を十分に検出した場合には、その時間間隔において時間差分法・本実行手段が時間差分法を本実行し、前記画像データを処理する。

（第一の発明のバリエーション１）
第一の発明は、以下のように形成することができる。
すなわち、 前記の移動体検出手段は、時間差分法・仮実行手段にて処理された処理画像から移動体が検出できる割合が所定値以上であれば、前記の時間差分法・本実行手段が実行すべき時間間隔を決定することとした移動体画像データ処理装置である。
「所定値」とは、解析対象の移動体、解析に要求される精度などによって適宜決定される。

（作用）
時間差分法・仮実行手段にて処理された処理画像から移動体が検出できる割合が所定値以上であると、移動体検出手段が判断した場合には、前記の時間差分法・本実行手段が実行すべき時間間隔を決定する。それによって、解析対象の移動体、解析に要求される精度などによって、合理的な画像データ処理が実行できる。

（第一の発明のバリエーション２）
第一の発明は更に、 前記時間差分法・本実行手段において処理された画像データに対してＰＴＶ解析を実行するＰＴＶ解析手段を含むこととすることもできる。
ここで、ＰＴＶ解析アルゴリズムとは、撮影された画像データに対して両画像データの中で一致する粒子や画素を抽出するアルゴリズムである。
本願発明の利用形態として代表的なのは、鳥などの飛来物を検出し、その動きを解析することである。このバリエーションは、その利用形態に適した発明である。

（第二の発明）
本願の第二の発明は、時系列に連続する画像データを撮影してその画像データに写った移動体を検出して移動軌跡を解析するコンピュータプログラムに係る。
そのプログラムは、時系列に連続撮影された画像データを入力する画像入力手順と、 その画像入力手順によって入力された画像データに対して最小単位の時間差による時間差分法を実行する時間差分法・仮実行手順と、 その時間差分法・仮実行手順にて処理された処理画像から移動体を検出する移動体検出手順と、 その移動体検出手順にて移動体が十分に検出できなかった場合に、前記時間差分法・仮実行手順において実行する画像データの時間間隔を変更し、前記時間差分法・仮実行手順にて時間差分法を再実行させる時間差変更手順と、 前記移動体検出手順において移動体を十分に検出した場合に、その時間間隔において時間差分法を本実行して前記画像データを処理する時間差分法・本実行手順と、をコンピュータに実行させることとしたコンピュータプログラムである。

（第二の発明のバリエーション）
本願の第二の発明は、 前記の移動体検出手順においては、時間差分法・仮実行手順にて処理された処理画像から移動体が検出できる割合が所定値以上である場合に、前記の時間差分法・本実行手順が実行すべき時間間隔を決定することとすることもできる。

第二の発明は、記録媒体（たとえば、ハードディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒなど）に格納して提供することもできる。また、通信回線を介して送信することもできる。

請求項１から請求項３に記載の発明によれば、移動体の撮影画像の処理に時間差分法に対して合理的な前処理をすることによって、的確な時間差分法処理を可能とする移動体画像データ処理装置を提供することができた。
また、請求項４および請求項５に記載の発明によれば、移動体の撮影画像の処理に時間差分法に対して合理的な前処理をすることによって、的確な時間差分法処理が可能なコンピュータプログラムを提供することができた。

本発明の実施形態に係る処理手順を示すフローチャートである。 本発明の実施形態における処理手順を示す概念図である。 本発明の実施形態に係るハードウェア構成図である。 従来技術の問題点を示す概念図である。

以下、本願発明を実施形態に基づいて更に詳しく説明する。
図４は、従来技術における画像処理において時間差分法を採用した場合の問題点を図示している。 図４（Ａ）に示すような画像が最初に取得できたとする。その画像には、飛行機と鳥が写っている。
さて、Δｔ時間後にも連続して画像を撮影したとする。その画像が図４（Ｂ）とする。図４（Ａ）および（Ｂ）という連続画像を用いて時間差分法を適用したとする場合、Δｔ時間後には飛行機は大きく移動したものの、鳥はホバリングをしていたために移動していなかった（同じ画素に写っていた）とする。
すると、時間差分法では、鳥の姿が写っていた画素はゼロとして扱われてしまう。すなわち、移動体を検出できないということとなる。

本実施形態では、図４に示した問題を解決するため、図1に示すような処理手順にて画像を処理する。
すなわち、時系列の画像データを入力したら、まず時系列の最小単位にて時間差分法を実行する。その時間差分法による画像処理にて移動体を検出できた場合には、時間差分法による時間差（画像単位）を決定する。移動体を検出できない場合には、時系列の最小単位を一つ増やして時間差分法を実行する。そして、再び、画像処理にて移動体を検出できたか否かを検証する。

図２には、前述した時間差分法による画像処理の実行と、その画像処理による移動体の検出ができたか否かの検証とを、概念的に示している。
画像データ（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，・・・）が時系列の最小単位で連続している。画像データＡとＢ（更に、ＢとＣ、ＣとＤ、ＤとＥ）とで時間差分法を実行すると、差分がほぼゼロであった。
次に、時系列の最小単位を一つ増やして時間差分法を実行する。すなわち、画像データＡとＣ（更に、ＢとＤ、ＣとＥ）とで時間差分法を実行すると、差分がΔ１となった。
次に、時系列の最小単位をもう一つ増やして時間差分法を実行する。すなわち、画像データＡとＤ（更に、ＢとＥ）とで時間差分法を実行すると、差分がΔ２となった。

差分がΔ１では、移動体が検出される確率が充分ではない、ということであれば、移動体が検出される確率が充分である差分であるΔ２となった時系列の最小単位を「３」に決定し、時間差分法を実行する。これによって移動体が充分に検出された時間差分法を実行することができることとなる。

図３に示すのは、図１に示したフローチャートを実行するためのハードウェア構成図である。
時系列に連続撮影された画像データを入力する画像入力手段と、 その画像入力手段に入力された画像データに対して最小単位の時間差による時間差分法を実行する時間差分法・仮実行手段と、 その時間差分法・仮実行手段にて処理された処理画像から移動体を検出する移動体検出手段と、 その移動体検出手段にて移動体が十分に検出できなかった場合に、前記時間差分法・仮実行手段において実行する画像データの時間間隔を変更し、前記時間差分法・仮実行手段に時間差分法を再実行させる時間差変更手段と、 前記移動体検出手段が移動体を十分に検出した場合に、その時間間隔において時間差分法を本実行して前記画像データを処理する時間差分法・本実行手段と、を備える。

前記の移動体検出手段は、図２を用いて説明したように、時間差分法・仮実行手段にて処理された処理画像から移動体が検出できる割合が所定値以上であれば、前記の時間差分法・本実行手段が実行すべき時間間隔を決定する。それによって、解析対象の移動体、解析に要求される精度などによって、合理的な画像データ処理が実行できる。

なお、図示は省略するが、前記時間差分法・本実行手段において処理された画像データに対してＰＴＶ解析を実行するＰＴＶ解析手段を含むこととすることもできる。

前述の実施形態では、移動体を鳥として説明したが、移動体は鳥に限られない。 川の流れ、煙の動きなどが被写体である場合、流れが停滞している箇所の解析、無風状態が継続した場合の煙などを解析することも可能である。

本願発明は、広域を撮影する必要がある環境アセスメント調査業、風力発電装置の製造業、航空関係の整備事業、環境影響評価における鳥類調査事業などにおいて、利用可能性を有する。

Claims (5)

1. 時系列に連続する画像データを撮影してその画像データに写った移動体を検出して移動軌跡を解析する装置であって、
   時系列に連続撮影された画像データを入力する画像入力手段と、
   その画像入力手段に入力された画像データに対して最小単位の時間差による時間差分法を実行する時間差分法・仮実行手段と、
   その時間差分法・仮実行手段にて処理された処理画像から移動体を検出する移動体検出手段と、
   その移動体検出手段にて移動体が十分に検出できなかった場合に、前記時間差分法・仮実行手段において実行する画像データの時間間隔を変更し、前記時間差分法・仮実行手段に時間差分法を再実行させる時間差変更手段と、
   前記移動体検出手段が移動体を十分に検出した場合に、その時間間隔において時間差分法を本実行して前記画像データを処理する時間差分法・本実行手段と、を備えた移動体画像データ処理装置。
2. 前記の移動体検出手段は、時間差分法・仮実行手段にて処理された処理画像から移動体が検出できる割合が所定値以上であれば、前記の時間差分法・本実行手段が実行すべき時間間隔を決定することとした請求項１に記載の移動体画像データ処理装置。
3. 前記時間差分法・本実行手段において処理された画像データに対してＰＴＶ解析を実行するＰＴＶ解析手段を含むこととした請求項１または請求項２のいずれかに記載の移動体画像データ処理装置。
4. 時系列に連続する画像データを撮影してその画像データに写った移動体を検出して移動軌跡を解析するコンピュータプログラムであって、
   時系列に連続撮影された画像データを入力する画像入力手順と、
   その画像入力手順によって入力された画像データに対して最小単位の時間差による時間差分法を実行する時間差分法・仮実行手順と、
   その時間差分法・仮実行手順にて処理された処理画像から移動体を検出する移動体検出手順と、
   その移動体検出手順にて移動体が十分に検出できなかった場合に、前記時間差分法・仮実行手順において実行する画像データの時間間隔を変更し、前記時間差分法・仮実行手順にて時間差分法を再実行させる時間差変更手順と、
   前記移動体検出手順において移動体を十分に検出した場合に、その時間間隔において時間差分法を本実行して前記画像データを処理する時間差分法・本実行手順と、をコンピュータに実行させることとしたコンピュータプログラム。
5. 前記の移動体検出手順においては、時間差分法・仮実行手順にて処理された処理画像から移動体が検出できる割合が所定値以上である場合に、前記の時間差分法・本実行手順が実行すべき時間間隔を決定することとした請求項４に記載のコンピュータプログラム。

Images