JP2011186677A - 画像データ処理装置およびコンピュータプログラム - Google Patents
画像データ処理装置およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2011186677A JP2011186677A JP2010049900A JP2010049900A JP2011186677A JP 2011186677 A JP2011186677 A JP 2011186677A JP 2010049900 A JP2010049900 A JP 2010049900A JP 2010049900 A JP2010049900 A JP 2010049900A JP 2011186677 A JP2011186677 A JP 2011186677A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- trajectory
- dimensional
- ptv
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 移動体の撮影画像の処理に対してPTV法を用いなくても合理的な画像処理をすることによって、的確な三次元表示を可能とする移動体画像データ処理を可能とする技術を提供する。
【解決手段】 複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置である。 時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、 その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、 カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段とを備えた移動体画像データ処理装置とする。
【選択図】 図4
【解決手段】 複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置である。 時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、 その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、 カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段とを備えた移動体画像データ処理装置とする。
【選択図】 図4
Description
本発明は、所定の空間領域における移動体を撮影する際の画像データ処理装置および画像データを処理するためのコンピュータプログラムに関する。
従来、所定の空間領域における移動体を撮影し、その移動体の動きを解析するためには、PTV処理を実行するのが一般的であった。
また、そのPTV処理をするためには、画像データにおける移動体の背景が障害となるので、その障害となる背景を消すために、時間差分法という処理を実行するのが一般的であった。
また、そのPTV処理をするためには、画像データにおける移動体の背景が障害となるので、その障害となる背景を消すために、時間差分法という処理を実行するのが一般的であった。
時間差分法とは、時間的に連続する二枚の画像データから、輝度に差分が存在する画素を抽出するのである。移動体を捉えた画素は、時間的に次の画像データにおいては異なる画素に移動しているため、差分がゼロとはならない。しかし、二枚の画像データにおいて輝度が同じ画素については、差分の結果、輝度がゼロになる。これによって、移動体とは無関係な背景の画像データを消すことができるのである。
なお、時間差分法を用いた画像処理技術については、たとえば特許文献1に開示されている。
なお、時間差分法を用いた画像処理技術については、たとえば特許文献1に開示されている。
ところで、環境アセスメントの一環として、所定の空間領域(たとえば建造物を建造する予定地)に対する鳥などの飛来物を検知し、その検知した情報を分析するといったことが行われている。 その飛来物の検知には、複数(たいてい2台)のカメラで飛来物を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する(たとえば、PTVのステレオペアマッチング)、という手法が採用されている。すなわち、一致した粒子や画素について、三次元における速度や位置の情報に変換し、飛来物の軌跡を三次元データとして求める。
このような飛来物の検知方法を応用することによって、たとえば風力発電装置に飛来物が近づいているか否かを判断して、風力発電装置の減速または停止の制御に用いることができる。また、野鳥の飛行観察や行動調査にも、同様に三次元の飛行軌跡を求める手段が用いられている。
このような飛来物の検知方法を応用することによって、たとえば風力発電装置に飛来物が近づいているか否かを判断して、風力発電装置の減速または停止の制御に用いることができる。また、野鳥の飛行観察や行動調査にも、同様に三次元の飛行軌跡を求める手段が用いられている。
所定の空間領域に対する飛来物調査においては、対象となる空間を撮影するためのステレオ撮影実行のために設置される2台のカメラの距離は、50メートル以上である場合が多い。風力発電装置が複数設置することを予定されているウィンドファームなどの場合には、数キロメートルに達する場合もある。
特許文献2は、移動物体の三次元軌跡を計測する技術であり、球技スポーツにおけるボールのように高速で移動する物体の移動軌跡を解析するための技術である。 これは、複数(たいてい2台)のカメラによって飛翔体を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する(PTVステレオペアマッチング法)。一致した粒子や画素について、三次元における速度の情報に変換し、三次元の軌跡を求めるものである。
PTVステレオペアマッチング法の技術は、鳥などの飛翔体の軌跡を解析するために利用することができる。
PTVステレオペアマッチング法の技術は、鳥などの飛翔体の軌跡を解析するために利用することができる。
さて、PTVステレオペアマッチング法を鳥などの飛翔体の軌跡を解析するために用いる場合、計測領域を大きくせざるを得ない傾向にある。できる限り広い範囲を撮影したいという要望があるからである。 たとえば、3キロメートルの範囲で撮影する場合に、1メートルの鳥が2ピクセルを確保するには、水平画素数が6000ピクセルの撮像カメラが必要となってしまう。そのような撮像カメラは非常に高価である。 また、そのような撮像カメラにて撮影ができても、画像データを記録し、転送したり、画像処理をしたりするためには、ハードウェアの負担が大きかった。
そこで、鳥の大きさが1ピクセル以下となっても画像処理が可能であるようにするためには、サブピクセル解析という手段を用いる。これを採用する場合、1メートルの鳥が0.7ピクセルを確保するには、水平画素数が2100ピクセルの撮像カメラにて済む。 ただし、1ピクセルの大きさの画素についての輝度変化を取り扱う場合、画像中のノイズとの判別が困難になる、という欠点がある。
さて、撮影したい移動体および所定空間が撮影場所から遠い場合には、撮影データにおける移動体および所定空間が占める画素の面積は近い場合に比べて小さくなる。 すると、移動体の全体でも一画素に収まってしまう場合も出てくる。 更に、その場合、次の時刻の撮影データにおいても、移動体が移動しているにもかかわらず、同じ画素内でしか移動していない、という事態も出てくる。
より具体的には、図8に図示する。すなわち、移動体を鳥などの飛翔体とした場合、撮影場所から遠い場所でホバリングをしていると、数秒間にわたって一画素に収まってしまうことがある。
このような事態にあっては、前述した時間差分法を用いると、移動体を捉えた画素であっても、輝度ゼロとして処理されてしまうこととなる。
より具体的には、図8に図示する。すなわち、移動体を鳥などの飛翔体とした場合、撮影場所から遠い場所でホバリングをしていると、数秒間にわたって一画素に収まってしまうことがある。
このような事態にあっては、前述した時間差分法を用いると、移動体を捉えた画素であっても、輝度ゼロとして処理されてしまうこととなる。
上記のような事態を回避するため、移動体が撮影データ内に入っていない状態の撮影データを基準背景画像とし、その基準画像と移動体を捉えた画像データとを時間差分法にて処理する、という手段を用いる。
ところが、基準背景画像を用いる手段は、屋外での撮影においては短時間しか使うことができない。 日照や天候などの条件が時々刻々と変化するためである。 基準背景画像を無理に使おうとすると、時間差分法処理を施した処理後のデータに多くの雑音が残ってしまうこととなる。
ところが、基準背景画像を用いる手段は、屋外での撮影においては短時間しか使うことができない。 日照や天候などの条件が時々刻々と変化するためである。 基準背景画像を無理に使おうとすると、時間差分法処理を施した処理後のデータに多くの雑音が残ってしまうこととなる。
特許文献1に開示された技術は、画像処理の対象となる移動体が自動車であり、前述した鳥のホバリングなどに該当するような動きはそもそもあり得ない。そのため、こうした課題を解決する手段は開示されていない。
特許文献2に開示された技術は、高速で移動する物体の移動軌跡を解析するための技術であり、低速での移動体に向いた技術ではない。
特許文献2に開示された技術は、高速で移動する物体の移動軌跡を解析するための技術であり、低速での移動体に向いた技術ではない。
本発明が解決しようとする課題は、移動体の撮影画像の処理に対してPTV法を用いなくても合理的な画像処理をすることによって、的確な三次元表示を可能とする技術を提供することを目的とする。
(第一の発明)
本願における第一の発明は、複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置に係る。
すなわち、 時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、 その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、 カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段と、を備えた移動体画像データ処理装置である。
本願における第一の発明は、複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置に係る。
すなわち、 時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、 その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、 カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段と、を備えた移動体画像データ処理装置である。
(用語説明)
「ボクセル」とは、例えば撮影する空間が3キロメートルの立方体である場合において撮影用のカメラの画素数を3000×3000ピクセルであるとすると、一辺が1メートルの仮想立方体が1ボクセルとなる。
「二次元軌跡画像出力手段および三次元ボクセルデータ演算手段」は、たとえば、以下のようなループ演算を実行する演算手段とすることができる。 すなわち、撮影する空間のボクセル位置(X,Y,Z)が左右の画像データ((Xl,Yl)、(Xr,Yr))における位置座標のいずれに写像されるかを逆演算する。
「ボクセル」とは、例えば撮影する空間が3キロメートルの立方体である場合において撮影用のカメラの画素数を3000×3000ピクセルであるとすると、一辺が1メートルの仮想立方体が1ボクセルとなる。
「二次元軌跡画像出力手段および三次元ボクセルデータ演算手段」は、たとえば、以下のようなループ演算を実行する演算手段とすることができる。 すなわち、撮影する空間のボクセル位置(X,Y,Z)が左右の画像データ((Xl,Yl)、(Xr,Yr))における位置座標のいずれに写像されるかを逆演算する。
右側のカメラにて取得された画像データにおける時刻tの画像Rtの輝度値Rt(Xr,Yr)と、左側のカメラにて取得された画像データにおける時刻tの画像Ltの輝度値Lt(Xl,Yl)とが、いずれも軌跡の一部分である場合には、ボクセル位置(X,Y,Z)において、
ボクセル輝度値V(X,Y,Z)=(Rt+Lt)/2
とする。
なお、画像処理を単純化するため、軌跡以外の画素の輝度値Vは、ゼロとしてもよい。 また、Rt(Xr,Yr)およびLt(Xl,Yl)のいずれか一方のみが軌跡の一部である場合には、ノイズであると判断してよい。
ボクセル輝度値V(X,Y,Z)=(Rt+Lt)/2
とする。
なお、画像処理を単純化するため、軌跡以外の画素の輝度値Vは、ゼロとしてもよい。 また、Rt(Xr,Yr)およびLt(Xl,Yl)のいずれか一方のみが軌跡の一部である場合には、ノイズであると判断してよい。
(作用)
複数台のカメラにて、所定空間をステレオ撮影する。
時系列に連続撮影された画像データを前記複数台のカメラから画像入力手段に入力する。 その画像入力手段に入力された画像データを用いて二次元軌跡画像出力手段が画素を合成し、カメラ毎に二次元軌跡画像を作成する。 二次元軌跡画像によってカメラ毎に作成された二次元軌跡画像から、三次元ボクセルデータ演算手段が三次元のボクセルデータを作成する。
ここにおいて、ステレオ撮影して時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析することができるため、PTV処理を実行しなくても三次元動画データを出力させることができる。
複数台のカメラにて、所定空間をステレオ撮影する。
時系列に連続撮影された画像データを前記複数台のカメラから画像入力手段に入力する。 その画像入力手段に入力された画像データを用いて二次元軌跡画像出力手段が画素を合成し、カメラ毎に二次元軌跡画像を作成する。 二次元軌跡画像によってカメラ毎に作成された二次元軌跡画像から、三次元ボクセルデータ演算手段が三次元のボクセルデータを作成する。
ここにおいて、ステレオ撮影して時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析することができるため、PTV処理を実行しなくても三次元動画データを出力させることができる。
(第一の発明のバリエーション1)
第一の発明は、以下のように形成することができる。
すなわち、 前記画像データにおける時系列順のデータを複数用いることによって輝度の差分にて動きのある画素を合成して二次元軌跡データを作成する時系列二次元軌跡作成手段と、 その時系列二次元軌跡作成手段が作成した時系列二次元軌跡画像データを用いて三次元軌跡データである三次元のボクセルデータを作成する時系列ボクセルデータ演算手段と、を備えた移動体画像データ処理装置としてもよい。
第一の発明は、以下のように形成することができる。
すなわち、 前記画像データにおける時系列順のデータを複数用いることによって輝度の差分にて動きのある画素を合成して二次元軌跡データを作成する時系列二次元軌跡作成手段と、 その時系列二次元軌跡作成手段が作成した時系列二次元軌跡画像データを用いて三次元軌跡データである三次元のボクセルデータを作成する時系列ボクセルデータ演算手段と、を備えた移動体画像データ処理装置としてもよい。
(第一の発明のバリエーション2)
第一の発明は、以下のように形成することができる。
すなわち、 前記の三次元軌跡データに対して、鳥以外の軌跡を削除する軌跡フィルタ手段を備えた移動体画像データ処理装置としてもよい。
第一の発明は、以下のように形成することができる。
すなわち、 前記の三次元軌跡データに対して、鳥以外の軌跡を削除する軌跡フィルタ手段を備えた移動体画像データ処理装置としてもよい。
(作用)
前記の「軌跡フィルタ手段」とは、たとえば、鳥ではあり得ない速度で移動する軌跡データを削除するフィルタである。
その軌跡フィルタ手段を用いることで、解析したい対象である鳥以外の、例えば航空機の軌跡を予め削除することができ、後の解析演算の負担を軽減し、解析画像を見やすくする。
前記の「軌跡フィルタ手段」とは、たとえば、鳥ではあり得ない速度で移動する軌跡データを削除するフィルタである。
その軌跡フィルタ手段を用いることで、解析したい対象である鳥以外の、例えば航空機の軌跡を予め削除することができ、後の解析演算の負担を軽減し、解析画像を見やすくする。
(第一の発明のバリエーション3)
第一の発明は、以下のように形成することができる。
すなわち、 前記の三次元軌跡データを用いて予め鳥の軌跡データをデータベース化した軌跡データベースを備えるとともに、 その軌跡データベースに蓄積されたデータを用いて、前記の三次元軌跡データから鳥の軌跡を抽出する鳥軌跡抽出手段を備えることとしてもよい。
第一の発明は、以下のように形成することができる。
すなわち、 前記の三次元軌跡データを用いて予め鳥の軌跡データをデータベース化した軌跡データベースを備えるとともに、 その軌跡データベースに蓄積されたデータを用いて、前記の三次元軌跡データから鳥の軌跡を抽出する鳥軌跡抽出手段を備えることとしてもよい。
(作用)
前記の「軌跡データベース」とは、たとえば、過去の軌跡データを解析し、鳥の種類や飛行速度などを蓄積している。
その軌跡データベースを用いることで、解析したい対象である鳥以外の、例えば航空機の軌跡を予め削除することができ、後の解析演算の負担を軽減し、解析画像を見やすくする。
前記の「軌跡データベース」とは、たとえば、過去の軌跡データを解析し、鳥の種類や飛行速度などを蓄積している。
その軌跡データベースを用いることで、解析したい対象である鳥以外の、例えば航空機の軌跡を予め削除することができ、後の解析演算の負担を軽減し、解析画像を見やすくする。
(第一の発明のバリエーション4)
第一の発明は、以下のように形成することができる。
すなわち、前記の三次元軌跡データを二次元の画面出力にて表示する三次元軌跡データ出力手段を備えた鳥軌跡抽出手段を備えることとしてもよい。
第一の発明は、以下のように形成することができる。
すなわち、前記の三次元軌跡データを二次元の画面出力にて表示する三次元軌跡データ出力手段を備えた鳥軌跡抽出手段を備えることとしてもよい。
(第一の発明のバリエーション5)
第一の発明は、以下のように形成することができる。
すなわち、 前記の画像入力手段に入力された画像データの一部に対して、PTV演算を仮に実行するPTV演算・仮実行手段と、 そのPTV演算・仮実行手段においてPTV演算がうまくいった場合には所定の画像データに対してPTV処理を実行するPTV処理・本実行手段と、を備え、 前記のPTV演算・仮実行手段においてPTV演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて三次元のボクセルデータを作成する。
第一の発明は、以下のように形成することができる。
すなわち、 前記の画像入力手段に入力された画像データの一部に対して、PTV演算を仮に実行するPTV演算・仮実行手段と、 そのPTV演算・仮実行手段においてPTV演算がうまくいった場合には所定の画像データに対してPTV処理を実行するPTV処理・本実行手段と、を備え、 前記のPTV演算・仮実行手段においてPTV演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて三次元のボクセルデータを作成する。
「PTV演算・仮実行手段」がPTV演算を仮に実行する「画像データの一部」とは、たとえば、鳥などの飛翔体が明らかに撮影できている時間帯の画像データとする。それをサンプルとして実行させ、PTV演算が実行可能か否かを判断する。
鳥などの飛翔体が明らかに撮影できている時間帯の画像データであるにも関わらずPTV演算によって、飛翔体が抽出できない場合とは、たとえば、鳥がホバリングや低速飛行をしていてあまり動かない場合、非常に遠方に写っているために鳥が動いているとして処理できない場合などがある。
鳥などの飛翔体が明らかに撮影できている時間帯の画像データであるにも関わらずPTV演算によって、飛翔体が抽出できない場合とは、たとえば、鳥がホバリングや低速飛行をしていてあまり動かない場合、非常に遠方に写っているために鳥が動いているとして処理できない場合などがある。
(作用)
画像入力手段に入力された画像データの一部に対して、PTV演算・仮実行手段がPTV演算を仮に実行する。 そのPTV演算・仮実行手段においてPTV演算がうまくいった場合には、PTV処理・本実行手段が所定の画像データに対してPTV処理を実行する。
一方、前記のPTV演算・仮実行手段においてPTV演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて、三次元のボクセルデータを作成する。 したがって、PTV演算がうまくいかない場合には、PTV処理を実行しなくても三次元動画データを出力させることができる。
画像入力手段に入力された画像データの一部に対して、PTV演算・仮実行手段がPTV演算を仮に実行する。 そのPTV演算・仮実行手段においてPTV演算がうまくいった場合には、PTV処理・本実行手段が所定の画像データに対してPTV処理を実行する。
一方、前記のPTV演算・仮実行手段においてPTV演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて、三次元のボクセルデータを作成する。 したがって、PTV演算がうまくいかない場合には、PTV処理を実行しなくても三次元動画データを出力させることができる。
(第一の発明のバリエーション6)
第一の発明は更に、 前記のPTV演算・仮実行手段においてPTV演算がうまくいかなかった場合に作成した前記の三次元のボクセルデータに対して、前記のPTV処理・本実行手段によって所定の画像データに対してPTV処理を実行することとすることもできる。
第一の発明は更に、 前記のPTV演算・仮実行手段においてPTV演算がうまくいかなかった場合に作成した前記の三次元のボクセルデータに対して、前記のPTV処理・本実行手段によって所定の画像データに対してPTV処理を実行することとすることもできる。
(第二の発明)
本願の第二の発明は、時系列に連続する画像データを左右のカメラにて撮影してその画像データに写った移動体を検出して移動軌跡を解析するコンピュータプログラムに係る。
そのプログラムは、 時系列に連続撮影された画像データを前記左右のカメラから入力する画像入力手順と、 その画像入力手順によって入力された画像データから画素を合成して、左右のカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手順と、 左右のカメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手順と、 をコンピュータに実行させることとしたコンピュータプログラムである。
本願の第二の発明は、時系列に連続する画像データを左右のカメラにて撮影してその画像データに写った移動体を検出して移動軌跡を解析するコンピュータプログラムに係る。
そのプログラムは、 時系列に連続撮影された画像データを前記左右のカメラから入力する画像入力手順と、 その画像入力手順によって入力された画像データから画素を合成して、左右のカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手順と、 左右のカメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手順と、 をコンピュータに実行させることとしたコンピュータプログラムである。
(第二の発明のバリエーション)
本願の第二の発明は、 前記の画像入力手順にて入力された画像データの一部に対して、PTV演算を仮に実行するPTV演算・仮実行手順と、 そのPTV演算・仮実行手順においてPTV演算がうまくいった場合には前記の画像データに対してPTV処理を実行するPTV処理・本実行手順と、 前記のPTV演算・仮実行手順においてPTV演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手順および前記の三次元ボクセルデータ演算手順を介しての三次元のボクセルデータ作成をコンピュータに、更に実行させるプログラムとすることもできる。
本願の第二の発明は、 前記の画像入力手順にて入力された画像データの一部に対して、PTV演算を仮に実行するPTV演算・仮実行手順と、 そのPTV演算・仮実行手順においてPTV演算がうまくいった場合には前記の画像データに対してPTV処理を実行するPTV処理・本実行手順と、 前記のPTV演算・仮実行手順においてPTV演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手順および前記の三次元ボクセルデータ演算手順を介しての三次元のボクセルデータ作成をコンピュータに、更に実行させるプログラムとすることもできる。
第二の発明は、記録媒体(たとえば、ハードディスク、CD−R、DVD−Rなど)に格納して提供することもできる。また、通信回線を介して送信することもできる。
請求項1から請求項7に記載の発明によれば、移動体の撮影画像の処理に対してPTV法を用いなくても合理的な画像処理をすることによって、的確な三次元表示を可能とする移動体画像データ処理装置を提供することができた。
また、請求項8および請求項9に記載の発明によれば、移動体の撮影画像の処理に対してPTV法を用いなくても合理的な画像処理をすることによって、的確な三次元表示が可能なコンピュータプログラムを提供することができた。
また、請求項8および請求項9に記載の発明によれば、移動体の撮影画像の処理に対してPTV法を用いなくても合理的な画像処理をすることによって、的確な三次元表示が可能なコンピュータプログラムを提供することができた。
以下、本願発明を実施形態に基づいて更に詳しく説明する。
図8は、従来技術における画像処理において時間差分法を採用した場合の問題点を図示している。 図8(A)に示すような画像が最初に取得できたとする。その画像には、飛行機と鳥が写っている。
さて、Δt時間後にも連続して画像を撮影したとする。その画像が図8(B)とする。図8(A)および(B)という連続画像を用いて時間差分法を適用したとする場合、Δt時間後には飛行機は大きく移動したものの、鳥はホバリングをしていたために移動していなかった(同じ画素に写っていた)とする。
すると、時間差分法では、鳥の姿が写っていた画素はゼロとして扱われてしまう。すなわち、移動体を検出できないということとなる。 遙か遠くを飛んでいたために、鳥がホバリングをしていたのではなくても、Δt時間後でも同じ画素に写ってしまい、鳥の姿が写っていた画素はゼロとして扱われてしまう。 一方、飛行機は検出される。
図8は、従来技術における画像処理において時間差分法を採用した場合の問題点を図示している。 図8(A)に示すような画像が最初に取得できたとする。その画像には、飛行機と鳥が写っている。
さて、Δt時間後にも連続して画像を撮影したとする。その画像が図8(B)とする。図8(A)および(B)という連続画像を用いて時間差分法を適用したとする場合、Δt時間後には飛行機は大きく移動したものの、鳥はホバリングをしていたために移動していなかった(同じ画素に写っていた)とする。
すると、時間差分法では、鳥の姿が写っていた画素はゼロとして扱われてしまう。すなわち、移動体を検出できないということとなる。 遙か遠くを飛んでいたために、鳥がホバリングをしていたのではなくても、Δt時間後でも同じ画素に写ってしまい、鳥の姿が写っていた画素はゼロとして扱われてしまう。 一方、飛行機は検出される。
そこで、本実施形態では、左右のカメラにてステレオ撮影して時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置を用いて、図1に示すような処理手順にて画像を処理する。
まず、左カメラが撮影する所定空間に対して二次元軌跡画像をLt、右カメラが撮影する所定空間に対して二次元軌跡画像をRtとする。二次元軌跡画像Ltは二次元軌跡画像Lt出力手段にて、二次元軌跡画像Rtは、二次元軌跡画像Rt出力手段にて出力させる。 一方、撮影される空間をボクセルに分割する。 「ボクセルに分割」とは、例えば撮影する空間が3キロメートルの立方体である場合において撮影用のカメラの画素数を3000×3000ピクセルであるとすると、一辺が1メートルの仮想立方体が1ボクセルとなる。
まず、左カメラが撮影する所定空間に対して二次元軌跡画像をLt、右カメラが撮影する所定空間に対して二次元軌跡画像をRtとする。二次元軌跡画像Ltは二次元軌跡画像Lt出力手段にて、二次元軌跡画像Rtは、二次元軌跡画像Rt出力手段にて出力させる。 一方、撮影される空間をボクセルに分割する。 「ボクセルに分割」とは、例えば撮影する空間が3キロメートルの立方体である場合において撮影用のカメラの画素数を3000×3000ピクセルであるとすると、一辺が1メートルの仮想立方体が1ボクセルとなる。
撮影される空間を分割して得られた各ボクセルに対して、ボクセル位置(X,Y,Z)が二次元軌跡画像LtおよびRtにおける位置座標((Xl,Yl)および(Xr,Yr))のいずれに対応するかを逆演算する。
このとき、三次元の撮影空間を分割して得られる各ボクセルの位置(X,Y,Z)が、二次元軌跡画像のいずれの位置座標へ対応するかの逆演算は、座標毎に予め作成していた逆演算変換テーブルを用いるか、行列演算にて行う。
このとき、三次元の撮影空間を分割して得られる各ボクセルの位置(X,Y,Z)が、二次元軌跡画像のいずれの位置座標へ対応するかの逆演算は、座標毎に予め作成していた逆演算変換テーブルを用いるか、行列演算にて行う。
右側のカメラにて取得された画像データにおける時刻tの画像Rtの輝度値Rt(Xr,Yr)と、左側のカメラにて取得された画像データにおける時刻tの画像Ltの輝度値Lt(Xl,Yl)とが、いずれも軌跡の一部分である場合には、
ボクセル輝度値V(X,Y,Z)=(Rt+Lt)/2
とする。
この処理を、撮影される空間をNx×Ny×Nz(Nx、Ny、Nzは1以上の自然数)に分割した場合には、Xを1からNxまで、Yを1からNyまで、Zを1からNzまでそれぞれ変化させて行い、各ボクセル位置(X、Y、Z)における輝度値Vを求める。
なお、画像処理を単純化するため、軌跡以外の画素の輝度値Vは、ゼロとしてもよい。 また、Rt(Xr,Yr)およびLt(Xl,Yl)のいずれか一方のみが軌跡の一部である場合には、ノイズであると判断してよい。
ボクセル輝度値V(X,Y,Z)=(Rt+Lt)/2
とする。
この処理を、撮影される空間をNx×Ny×Nz(Nx、Ny、Nzは1以上の自然数)に分割した場合には、Xを1からNxまで、Yを1からNyまで、Zを1からNzまでそれぞれ変化させて行い、各ボクセル位置(X、Y、Z)における輝度値Vを求める。
なお、画像処理を単純化するため、軌跡以外の画素の輝度値Vは、ゼロとしてもよい。 また、Rt(Xr,Yr)およびLt(Xl,Yl)のいずれか一方のみが軌跡の一部である場合には、ノイズであると判断してよい。
図2から図5を用いて、更に詳しく説明する。
本願発明は、最低2台のカメラにて所定空間を撮影することで機能する。図2は、所定空間を3台以上のカメラにて撮影するバリエーションを概念的に示している。
画像P1の輝度値P1(Xn、Yn)が2つ以上の軌跡における一部分である場合には、ボクセル輝度値V(X,Y,Z)を有値(たとえば、P2+P3/2)であるとし、それ以外はV(X,Y,Z)=0とする。
このような算出結果を使うことによって、2台のカメラにて撮影するよりも正確な軌跡データを作成できる。たとえば、2台のカメラではいずれも輝度が足りないため、演算途中で削除されてしまう軌跡の一部が残されるからである。
なお、図2以外は、二台のカメラで実施したとして説明する。
本願発明は、最低2台のカメラにて所定空間を撮影することで機能する。図2は、所定空間を3台以上のカメラにて撮影するバリエーションを概念的に示している。
画像P1の輝度値P1(Xn、Yn)が2つ以上の軌跡における一部分である場合には、ボクセル輝度値V(X,Y,Z)を有値(たとえば、P2+P3/2)であるとし、それ以外はV(X,Y,Z)=0とする。
このような算出結果を使うことによって、2台のカメラにて撮影するよりも正確な軌跡データを作成できる。たとえば、2台のカメラではいずれも輝度が足りないため、演算途中で削除されてしまう軌跡の一部が残されるからである。
なお、図2以外は、二台のカメラで実施したとして説明する。
図3は、各カメラにて取得した時系列の画像データ群を用いて、二次元軌跡画像と複数の時系列二次元画像とを作成する場合に、どのように元の画像データ群を用いるのかを示している。
まず、二次元軌跡画像は、画像データ群から最大輝度値を用いて作成する。
また、時系列二次元画像は、複数の連続する画像データから差分を求め、方向成分を備えるベクトルとして時系列二次元軌跡データを求めていく。これをいくつも作成し、単なる軌跡に時系列の情報(時間成分)を加えた時系列二次元軌跡データとするのである。
まず、二次元軌跡画像は、画像データ群から最大輝度値を用いて作成する。
また、時系列二次元画像は、複数の連続する画像データから差分を求め、方向成分を備えるベクトルとして時系列二次元軌跡データを求めていく。これをいくつも作成し、単なる軌跡に時系列の情報(時間成分)を加えた時系列二次元軌跡データとするのである。
図4に示すのは、図3にて示した二次元軌跡画像および時系列二次元軌跡画像群を用いて、時系列ボクセル表示を行うまでのデータ作成手順を示したものである。
左右のカメラにて取得した時系列の画像データ群から作成した二次元軌跡画像における各位置座標の輝度を、撮影される空間を分割して得られた各ボクセルの位置(X、Y、Z)へ反映させて三次元の静的なボクセル表示を行う。
静的なボクセル表示を行った後、続いて、動的な画像データである時系列二次元軌跡画像群を静的なボクセル表示に加える。そのことによって、時系列ボクセル表示、すなわち動的なボクセル表示が可能となる。
図中のボクセル表示において、直線にて示されているのは、航空機の軌跡やベクトルであろうと推測でき、非直線的で不規則な動きは鳥であろうと推測できる。
左右のカメラにて取得した時系列の画像データ群から作成した二次元軌跡画像における各位置座標の輝度を、撮影される空間を分割して得られた各ボクセルの位置(X、Y、Z)へ反映させて三次元の静的なボクセル表示を行う。
静的なボクセル表示を行った後、続いて、動的な画像データである時系列二次元軌跡画像群を静的なボクセル表示に加える。そのことによって、時系列ボクセル表示、すなわち動的なボクセル表示が可能となる。
図中のボクセル表示において、直線にて示されているのは、航空機の軌跡やベクトルであろうと推測でき、非直線的で不規則な動きは鳥であろうと推測できる。
図5に示した図は、図4にて概念的に示した演算手順を、構成要件および機能毎にブロック図として示したものである。
なお、時系列ボクセルデータが作成された後、軌跡フィルタ手段あるいは軌跡データベースを用いて、鳥以外の軌跡データを削除したり、鳥の種類を推測したりして、鳥軌跡三次元データを出力することとしている。
ここで、「軌跡フィルタ手段」とは、たとえば、鳥では想定できない速度で移動する軌跡データを削除するフィルタリングを実行する手段である。図4に示した航空機らしき直線的な軌跡は、この軌跡フィルタ手段によって削除されるであろう。
また、軌跡データベース(軌跡DB)とは、過去の軌跡データを解析し、鳥の種類や飛行速度などを蓄積したデータベースである。 鳥では想定できない速度の軌跡を削除したり、鳥の種類を推測したりすることが可能となる。
なお、時系列ボクセルデータが作成された後、軌跡フィルタ手段あるいは軌跡データベースを用いて、鳥以外の軌跡データを削除したり、鳥の種類を推測したりして、鳥軌跡三次元データを出力することとしている。
ここで、「軌跡フィルタ手段」とは、たとえば、鳥では想定できない速度で移動する軌跡データを削除するフィルタリングを実行する手段である。図4に示した航空機らしき直線的な軌跡は、この軌跡フィルタ手段によって削除されるであろう。
また、軌跡データベース(軌跡DB)とは、過去の軌跡データを解析し、鳥の種類や飛行速度などを蓄積したデータベースである。 鳥では想定できない速度の軌跡を削除したり、鳥の種類を推測したりすることが可能となる。
上記のように演算した加工画像データを用いて、時系列ボクセルデータ演算手段が三次元動画データを出力し、時系列ボクセル表示を行う。ここにおいて、PTV処理を実行しなくても三次元動画データを出力させることができる。
たとえば、低速飛行のため一ピクセルに収まってしまうような鳥、ホバリングして動かない鳥などをPTV処理では苦手としており、PTV演算の結果、背景画像として処理されてしまって鳥が存在しなくなってしまったり、ノイズまでをも鳥として判断してしまって処理してしまうことがある。 このような場合にも、上記の実施形態の手順で処理すれば、画像処理が可能である。
なお、画像中のラインが長くなった場合や、飛翔体としての鳥が群れで写っており、多くのラインが交差したような場合にも対応できる。
たとえば、低速飛行のため一ピクセルに収まってしまうような鳥、ホバリングして動かない鳥などをPTV処理では苦手としており、PTV演算の結果、背景画像として処理されてしまって鳥が存在しなくなってしまったり、ノイズまでをも鳥として判断してしまって処理してしまうことがある。 このような場合にも、上記の実施形態の手順で処理すれば、画像処理が可能である。
なお、画像中のラインが長くなった場合や、飛翔体としての鳥が群れで写っており、多くのラインが交差したような場合にも対応できる。
図6では、PTV処理を仮に実行し、PTV処理が上手くいかない場合に前述の手順を用いるが、PTV処理で上手くいく場合(図中では二点破線にて示す)にはPTV処理を実行して鳥の軌跡を出力させる、という手順を示す。いわば、ハイブリッド方式である。
図7は、図6のバリエーションである。すなわち、PTV処理が上手くいかない場合に鳥に関するデータにフラグを決定し、その加工後の静止画データを用いてPTV処理を実行させる手順である。
前述の実施形態では、移動体を鳥として説明したが、移動体は鳥に限られない。 川の流れ、煙の動きなどが被写体である場合、流れが停滞している箇所の解析、無風状態が継続した場合の煙などを解析することも可能である。
本願発明は、広域を撮影する必要がある環境アセスメント調査業、風力発電装置の製造業、航空関係の整備事業、環境影響評価における鳥類調査事業などにおいて、利用可能性を有する。
Claims (9)
- 複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置であって、
時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、
その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、
カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段と、
を備えた移動体画像データ処理装置。 - 前記画像データにおける時系列順のデータを複数用いることによって、輝度の差分にて動きのある画素を合成して二次元軌跡データを作成する時系列二次元軌跡作成手段と、
その時系列二次元軌跡作成手段が作成した時系列二次元軌跡画像データを用いて三次元のボクセルデータを作成する時系列ボクセルデータ演算手段と、
を備えた請求項1に記載の移動体画像データ処理装置。 - 前記の三次元軌跡データに対して、鳥以外の軌跡を削除する軌跡フィルタ手段を備えた請求項1または請求項2のいずれかに記載の移動体画像データ処理装置。
- 前記の三次元軌跡データを用いて予め鳥の軌跡データをデータベース化した軌跡データベースを備えるとともに、
その軌跡データベースに蓄積されたデータを用いて、前記の三次元軌跡データから鳥の軌跡を抽出する鳥軌跡抽出手段を備えた請求項1から請求項3のいずれかに記載の移動体画像データ処理装置。 - 前記の三次元軌跡データを二次元の画面出力にて表示する三次元軌跡データ出力手段を備えた請求項1から請求項4のいずれかに記載の移動体画像データ処理装置。
- 前記の画像入力手段に入力された画像データの一部に対して、PTV演算を仮に実行するPTV演算・仮実行手段と、
そのPTV演算・仮実行手段においてPTV演算がうまくいった場合には前期の画像データに対してPTV処理を実行するPTV処理・本実行手段と、を備え、
前記のPTV演算・仮実行手段においてPTV演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて三次元のボクセルデータを作成することとした請求項1から請求項5のいずれかに記載の移動体画像データ処理装置。 - 前記のPTV演算・仮実行手段においてPTV演算がうまくいかなかった場合に作成した前記の三次元のボクセルデータに対して、前記のPTV処理・本実行手段によって所定の画像データに対してPTV処理を実行することとした請求項6に記載の移動体画像データ処理装置。
- 時系列に連続する画像データを左右のカメラにて撮影してその画像データに写った移動体を検出して移動軌跡を解析するコンピュータプログラムであって、
時系列に連続撮影された画像データを前記左右のカメラから入力する画像入力手順と、
その画像入力手順によって入力された画像データから画素を合成して、左右のカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手順と、
左右のカメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手順と、
をコンピュータに実行させることとしたコンピュータプログラム。 - 前記の画像入力手順にて入力された画像データの一部に対して、PTV演算を仮に実行するPTV演算・仮実行手順と、
そのPTV演算・仮実行手順においてPTV演算がうまくいった場合には前記の画像データに対してPTV処理を実行するPTV処理・本実行手順と、
前記のPTV演算・仮実行手順においてPTV演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手順および前記の三次元ボクセルデータ演算手順を介しての三次元のボクセルデータ作成と、
をコンピュータに実行させることとした請求項8に記載のコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010049900A JP2011186677A (ja) | 2010-03-05 | 2010-03-05 | 画像データ処理装置およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010049900A JP2011186677A (ja) | 2010-03-05 | 2010-03-05 | 画像データ処理装置およびコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011186677A true JP2011186677A (ja) | 2011-09-22 |
Family
ID=44792880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010049900A Pending JP2011186677A (ja) | 2010-03-05 | 2010-03-05 | 画像データ処理装置およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011186677A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014081704A (ja) * | 2012-10-15 | 2014-05-08 | Central Research Institute Of Electric Power Industry | 飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラム |
-
2010
- 2010-03-05 JP JP2010049900A patent/JP2011186677A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014081704A (ja) * | 2012-10-15 | 2014-05-08 | Central Research Institute Of Electric Power Industry | 飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bang et al. | UAV-based automatic generation of high-resolution panorama at a construction site with a focus on preprocessing for image stitching | |
Reinbacher et al. | Real-time panoramic tracking for event cameras | |
Shao et al. | Computer vision based target-free 3D vibration displacement measurement of structures | |
EP3216216B1 (en) | Methods and systems for multi-view high-speed motion capture | |
Klein et al. | Full-3D Edge Tracking with a Particle Filter. | |
JP6204659B2 (ja) | 映像処理装置及び映像処理方法 | |
US20150062123A1 (en) | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model | |
CN107886120A (zh) | 用于目标检测跟踪的方法和装置 | |
US20180096525A1 (en) | Method for generating an ordered point cloud using mobile scanning data | |
WO2023093217A1 (zh) | 数据标注方法、装置、计算机设备、存储介质和程序 | |
CN105678288A (zh) | 目标跟踪方法和装置 | |
CN109035330A (zh) | 箱体拟合方法、设备和计算机可读存储介质 | |
CN106056624A (zh) | 无人机高清图像小目标检测与跟踪***及其检测跟踪方法 | |
CN107657644A (zh) | 一种移动环境下稀疏场景流检测方法和装置 | |
JP4761670B2 (ja) | 動立体モデル生成装置及び方法 | |
US20180020203A1 (en) | Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium | |
JP2015524946A (ja) | 画像解像度が改善された超解像画像を形成するための方法及び測定装置 | |
JP2021060868A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Kim et al. | Hybrid DNN training using both synthetic and real construction images to overcome training data shortage | |
CN113362467B (zh) | 基于点云预处理和ShuffleNet的移动端三维位姿估计方法 | |
CN105139433B (zh) | 基于均值模型的红外弱小目标图像序列仿真方法 | |
Patel et al. | Comparison of optical flow algorithms for speed determination of moving objects | |
CN115131407B (zh) | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 | |
Benedek et al. | An integrated 4D vision and visualisation system | |
JP2011186677A (ja) | 画像データ処理装置およびコンピュータプログラム |