JP6062039B2 - 画像処理システムおよび画像処理用プログラム - Google Patents

Description

本発明は、画像処理システムおよび画像処理用プログラムに関し、特に、カメラによる撮影画像から移動物体を検出して立体画像として表示する機能を備えた画像処理システムおよび画像処理用プログラムに関するものである。

従来の監視システムでは、複数の監視カメラで撮影された複数の監視画像を複数の画像表示装置に表示し、または複数の監視画像を１つの画像表示装置に分割表示することによって監視を行っていた。または、複数の監視画像を１つの画像表示装置に時分割で切り替えて表示することによって監視を行うものもあった。しかしながら、従来の監視システムは、複雑な構造を持つ建物内部を監視する場合には適していない。

すなわち、工場やビルのように大規模の建物では、フロア構成が複雑になり、部屋の数も多くなる。そのような複雑な構造を持つ建物内部の監視においては、カメラ設置台数が多数になり、画像表示装置に表示される監視画像の数も増大する。そのため、画像表示装置に表示されている複数の監視画像がどこのフロアのどの部屋のものであるかを一見して把握し難く、建物全体の状況を把握するのが困難であった。

これに対して、フロアの複数の監視領域毎に設けた監視カメラにより撮影された監視画像を別に用意したフロア画像に合成することにより、複数の監視画像をフロアのレイアウトに従って１画面に一度に表示できるようにしたシステムが提案されている（例えば、特許文献１参照）。この特許文献１に記載の技術によれば、建物内の各部屋の内部や廊下などの監視領域をフロアのレイアウトに従って１画面で同時に監視することが可能である。

しかしながら、特許文献１に記載の技術では、トップビューで表した平面的なフロア画像の各監視領域の位置に、各監視領域に設置した監視カメラで撮影された監視画像を割り当てて表示させているだけである。よって、基本的には複数の監視画像を１つの画像表示装置に分割表示させて監視を行うのと変わりはない。そのため、複数の監視画像がどこの監視領域のものであるかを把握することは可能であるが、建物全体の状況を把握するためには複数の監視画像を個別に確認しなければならず、ユーザにとっては依然として使い難いという問題があった。

また、特許文献１に記載の技術は、大規模でフロア構成が複雑な建物の監視に適したものではない。すなわち、特許文献１の技術は、複数の監視画像を１画面に分割表示するものであるため、表示できる画像数に限界がある。現実的には、特許文献１の図７に示すように、１つのフロアにおける複数の監視領域で撮影された監視画像を表示できる程度であり、工場やビル、百貨店といった大規模で複雑な建物の全体の監視に使えるものではない。無理に多数の監視画像を１画面に表示しようとすれば、個々の監視画像の表示サイズが小さくなるため、非常に見づらいものとなってしまうのである。

なお、特許文献１の段落[０００４]において先行技術文献として引用されている特開２００８−１１８４６６号公報（特許文献２）の図９によれば、複数の部屋における監視画像を合成してフロア毎に俯瞰画像（各フロアを上から見下ろしたような画像）を生成するとともに、それら複数フロアの俯瞰画像を更に合成することによって１Ｆ〜３Ｆのフロア重ね合せ画像を生成している。これにより、複数のフロアを有するビル等の全体の監視画像を１画面に表示することが可能となっている。

しかしながら、このように大規模で複雑な建物の全体の監視画像を１画面で表示しようとすればするほど、個々の監視領域における監視画像の表示サイズが小さくなり、監視画像は極めて見づらいものになってしまう。したがって、この特許文献２に記載の技術も、大規模でフロア構成が複雑な建物の監視に適したものとは言い難い。

特開２０１２−４６３０号公報 特開２００８−１１８４６６号公報

本発明は、このような問題を解決するために成されたものであり、大規模でフロア構成が複雑な建物であっても、その俯瞰的な画像を分かりやすく提供できるようにし、建物全体の状況をユーザが容易に把握できるようにすることを目的とする。

上記した課題を解決するために、本発明では、撮影対象領域を複数の角度から撮影するように設置された複数のカメラからそれぞれ撮影画像を入力する画像入力部と、入力された複数の撮影画像に含まれる移動物体のカメラからの距離を表す奥行情報を画素毎に算出する奥行情報算出部と、複数のカメラ間の相対的な角度関係に合わせて複数の投影面を設定し、複数の撮影画像に含まれる移動物体の各画素の値を、各撮影画像に対応する投影面の方向に奥行情報に従って投影させることにより、複数の撮影画像に含まれている移動物体が１つに合成された立体画像を生成する立体画像生成部と、撮影対象領域の空間を表す空間画像に移動物体の立体画像を合成することにより、撮影対象領域の俯瞰画像を生成する俯瞰画像生成部と、生成された俯瞰画像をディスプレイに表示させる表示制御部とを備えている。

上記のように構成した本発明によれば、撮影画像から検出した奥行情報に従って各画素の値が投影面の方向に投影されて成る点群のデータとして移動物体の立体画像が生成され、その立体画像が撮影対象領域の空間画像と合成されて、１つの全体的な俯瞰画像として表示される。そのため、大規模でフロア構成が複雑な建物で撮影対象領域の数が増えたとしても、多数の撮影画像が画面分割して表示されたり時分割により切り替えて表示されたりするようなことはない。すなわち、建物の全体空間の中に複数の撮影対象領域が含まれていて、各々の撮影対象領域内に点群の立体画像が合成されて成る１つの俯瞰画像がディスプレイに表示されることとなる。

これにより、ユーザは、従来のように撮影対象領域毎に表示された複数の撮影画像を個別に確認する必要がなく、俯瞰画像の確認により建物全体の状況を一目で把握することができるようになる。また、画面分割して表示された個々の撮影画像がその表示サイズが小さくなって見づらくなるという不都合も解消することができる。したがって、本発明によれば、大規模でフロア構成が複雑な建物であっても、その俯瞰画像を分かりやすく提供することができ、建物全体の状況をユーザが容易に把握することができる。

また、本発明によれば、複数の角度から撮影対象領域を撮影して得られた撮影画像から、それぞれの撮影画像に含まれる移動物体の各画素の値が各撮影画像の投影面の方向に投影されて立体画像が合成される。そのため、移動物体の立体画像を含む俯瞰画像を見る仮想的な視点の位置を移動させて投影面の向きを変えることにより、様々な角度から見た俯瞰画像に任意に切り替えてディスプレイに表示させることができる。

なお、従来の技術では、１つの撮影対象領域に１つのカメラが設置されているので、そのカメラが設置された方向からの撮影画像しか表示できない。仮に、１つの撮影対象領域に複数のカメラを設置しても、その１つの撮影対象領域を複数の角度から撮影した複数の撮影画像を画面分割して表示するか、時分割して表示することができるだけである。

これに対して、本発明によれば、上述したように、複数の撮影画像から点群のデータに加工された移動物体の立体画像を含む撮影対象領域の俯瞰画像をディスプレイに表示させ、しかもその俯瞰画像の視点を任意に切り替えて表示させることができる。これにより、例えば、ある角度から見たときに物陰に隠れて見えなくなるようなものを俯瞰画像の角度を変えて表示させることも可能となる。

第１の実施形態および第３の実施形態による画像処理システムの構成例を示す図である。 第１の実施形態による画像処理システムの機能構成例を示すブロック図である。 第１〜第３の実施形態による立体画像生成部の処理を説明するための図である。 第１〜第３の実施形態において表示制御部によりディスプレイに表示される俯瞰画像の一例を示す図である。 第１〜第３の実施形態において関連情報記憶部に記憶される関連情報の一例を示す図である。 第１の実施形態による画像処理システムの一構成要素である画像処理装置の動作例を示すフローチャートである。 第２の実施形態による画像処理システムの構成例を示す図である。 第２の実施形態による画像処理システムの機能構成例を示すブロック図である。 第２の実施形態による表示対象領域特定部の処理を説明するための図である。 第３の実施形態による画像処理システムの機能構成例を示すブロック図である。 第３の実施形態の警報発生部により発生される警報の一例を示す図である。 第３の実施形態において移動物体追跡部により追跡される移動物体の動きの例を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による画像処理システムの構成例を示す図である。第１の実施形態では、本発明の画像処理システムを監視システムに実施した例を示す。

図１に示すように、第１の実施形態による監視システムは、複数の撮像部１０１，１０２，・・・と、複数の画像入力装置２０１，２０２，・・・と、画像処理装置３００と、ディスプレイ４００とを備えている。複数の撮像部１０１，１０２，・・・は、それぞれ複数の画像入力装置２０１，２０２，・・・に接続されている。また、複数の画像入力装置２０１，２０２，・・・は、建物内の構内ネットワーク５００を介して画像処理装置３００に接続されている。

複数の撮像部１０１，１０２，・・・は、建物内の複数の撮影対象領域毎に設置される。ここで言う複数の撮影対象領域とは、例えば、建物の各フロアにある各部屋の内部、廊下、階段、エレベータなど、監視対象としたい所望の空間領域をいう。１つの撮影対象領域に対して１つの撮像部が割り当てられている。なお、以下では説明の便宜上、２つの撮像部１０１，１０２が備えられているものとして説明する。

１つの撮像部には、複数のカメラが備えられている。例えば、第１の撮像部１０１には４台のカメラ１０１Ａ〜１０１Ｄが備えられている。なお、図１では図示を省略しているが、第２の撮像部１０２にも複数のカメラが備えられている。第２の撮像部１０２が備えるカメラの台数は、必ずしも第１の撮像部１０１と同じでなくてもよい。

複数のカメラ１０１Ａ〜１０１Ｄは、撮影対象領域を複数の角度から撮影するように設置されている。例えば、ある部屋を撮影対象領域とする場合、その部屋の４方向の壁面に、部屋内の全体を撮影できるように４台のカメラ１０１Ａ〜１０１Ｄが設置される。この場合、それぞれの撮影範囲が少なくとも一部において重複するように各カメラ１０１Ａ〜１０１Ｄの位置や姿勢を設定するのが好ましい。

これらのカメラ１０１Ａ〜１０１Ｄは何れもステレオカメラであり、撮影対象領域内の対象物を２つの異なる方向から同時に撮影する。後述するように、その撮影画像を画像処理装置３００が公知の手法により解析することにより、対象物の奥行き方向の情報を取得できるようになされている。

複数の画像入力装置２０１，２０２は、複数の撮像部１０１，１０２からからそれぞれ撮影画像を入力するものであり、例えばパーソナルコンピュータ等により構成される。図１の例では、第１の撮像部１０１に対して第１の画像入力装置２０１が接続され、第２の撮像部１０２に対して第２の画像入力装置２０２が接続されているが、本発明はこのような接続形態に限定されない。例えば、２つの撮像部１０１，１０２を１つの画像入力装置に接続し、２つの撮像部１０１，１０２から１つの画像入力装置に撮影画像を入力するようにしてもよい。

画像処理装置３００は、複数の画像入力装置２０１，２０２から撮影画像を入力し、以下に詳しく説明する画像処理を行う。そして、その画像処理の結果得られる画像をディスプレイ４００に表示させる。ここで、画像処理装置３００は、例えばパーソナルコンピュータあるいはサーバ装置により構成され、建物内の監視室等に設置される。また、ディスプレイ４００は、例えば液晶表示装置により構成される。

図１に示したシステム構成のうち、複数の画像入力装置２０１，２０２および画像処理装置３００の部分が本発明の画像処理システムに相当する。図２は、この画像処理システムの機能構成例を示すブロック図である。図２に示すように、第１の実施形態による画像処理システムは、その機能構成として、画像入力部１、奥行情報算出部２、立体画像生成部３、俯瞰画像生成部４、表示制御部５、関連情報生成部６、操作受付部７、空間画像記憶部８および関連情報記憶部９を備えている。

ここで、画像入力部１の機能は、図１に示した画像入力装置２０１，２０２にそれぞれ備えられる。また、奥行情報算出部２、立体画像生成部３、俯瞰画像生成部４、表示制御部５、関連情報生成部６、操作受付部７、空間画像記憶部８および関連情報記憶部９の各機能は、図１に示した画像処理装置３００に備えられる。

画像処理装置３００が備える奥行情報算出部２、立体画像生成部３、俯瞰画像生成部４、表示制御部５、関連情報生成部６および操作受付部７の各機能は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能は、実際には画像処理装置３００のＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された画像処理用プログラムが動作することによって実現される。

画像入力部１は、複数のカメラからそれぞれ撮影画像を入力する。すなわち、第１の画像入力装置２０１が備える画像入力部１は、複数のカメラ１０１Ａ〜１０１Ｄからそれぞれ撮影画像を入力する。また、第１の画像入力装置２０１が備える画像入力部１は、複数のカメラ（図１では図示せず）からそれぞれ撮影画像を入力する。

奥行情報算出部２は、画像入力部１により入力された複数の撮影画像に含まれる移動物体のカメラからの距離を表す奥行情報を画素毎に算出する。上述したように、画像入力部１による入力される撮影画像は、ステレオカメラにより撮影された視差画像である。奥行情報算出部２は、この視差画像を公知の手法により解析することにより、移動物体のカメラからの距離を表す奥行情報を画素毎に算出する。

なお、撮影画像内から移動物体を抽出する方法としては、種々の方法を適用することが可能である。例えば、所定のフレームレートに従ってカメラ１０１Ａ〜１０１Ｄにより順次撮影されるフレーム画像間の差分を検出することにより、差分が生じている領域を移動物体の領域として抽出することが可能である。または、撮影対象領域に移動物体がない状態であらかじめ撮影した画像を背景画像として記憶しておき、撮影画像と背景画像との差分を検出することにより、差分が生じている領域を移動物体の領域として抽出することも可能である。

立体画像生成部３は、奥行情報算出部２により算出された奥行情報を利用して、画像入力部１により入力された複数の撮影画像から移動物体の立体画像を生成する。ここで、立体画像生成部３は、１つの撮影対象領域について１セットの立体画像を生成する。例えば、第１の撮像部１０１が備える４台のカメラ１０１Ａ〜１０１Ｄから画像入力部１に入力された４枚の撮影画像から１セットの立体画像を生成する。１セットというのは、撮影画像から複数の移動物体が抽出された場合は、それら複数の移動物体の立体画像で１セットという意味である。

以下に、立体画像生成部３の具体的な処理内容を、図３を参照しながら説明する。図３は、複数の撮影画像から移動物体の立体画像を生成する処理の説明図である。図３に示すように、立体画像生成部３は、複数のカメラ１０１Ａ〜１０１Ｄ間の相対的な角度関係に合わせて複数の投影面３１〜３４を設定する。図３の例では説明の簡便のため、互いに９０度を成す角度で４方向に投影面３１〜３４を設定している。

つまり、●印で示す位置（例えば、部屋内の４方向の壁面）に４台のカメラ１０１Ａ〜１０１Ｄが設置されていて、その位置から矢印Ａ〜Ｄで示す方向を撮影するように各カメラ１０１Ａ〜１０１Ｄの姿勢が設定されている。立体画像生成部３は、この各カメラ１０１Ａ〜１０１Ｄの取付位置および取付姿勢に応じた撮影方向に投影面３１〜３４を設定する。なお、各カメラ１０１Ａ〜１０１Ｄの取付位置および取付姿勢に関する情報は、事前のキャリブレーションによって立体画像生成部３に登録しておく。

立体画像生成部３は、画像入力部１により入力された複数の撮影画像（図３の例では、４台のカメラ１０１Ａ〜１０１Ｄの撮影画像）に含まれる移動物体の各画素の値を、各撮影画像に対応する投影面３１〜３４の方向に奥行情報に従って投影させることにより、複数の撮影画像に含まれている移動物体が１つに合成された立体画像を生成する。

すなわち、立体画像生成部３は、第１のカメラ１０１Ａから画像入力部１に入力された撮影画像に含まれる移動物体の各画素の値を、第１のカメラ１０１Ａの位置から投影面３１がある矢印Ａの方向に奥行情報で示される距離だけ投影させた位置に描画する。ここで描画する各画素の値は、撮影画像が元々持っているＲＧＢの値であってもよいし、これを２値化あるいはグレースケール化した値などであってもよい。

立体画像生成部３は、第２〜第４のカメラ１０１Ｂ〜１０１Ｄから画像入力部１に入力された撮影画像についても同様の処理を行う。このように本実施形態では、同じ撮影対象領域を複数のカメラ１０１Ａ〜１０１Ｄで撮影し、各撮影画像に含まれる移動物体の各画素の値を１つの画像上に合成しているので、同じ画素位置に対して複数の方向から複数の画素値が重ねて投影されることになる。

この場合、立体画像生成部３は、合成される立体画像をユーザが見る仮想的な視点（ディスプレイ画面手前の方向にある点）から見て立体の前面に来るものを優先して描画する。図３の例では、第１のカメラ１０１Ａおよび第２のカメラ１０１Ｂによる撮影画像に含まれる画素の値を、第３のカメラ１０１Ｃおよび第４のカメラ１０１Ｄによる撮影画像に含まれる画素の値よりも優先して描画する。第１のカメラ１０１Ａによる撮影画像と第２のカメラ１０１Ｂによる撮影画像とのどちらを優先するかは任意に決めることが可能である。例えば、奥行情報による距離が短い方を優先するといった処理が可能である。

俯瞰画像生成部４は、立体画像生成部３により生成された移動物体の立体画像を、撮影対象領域の空間を表す空間画像に合成することにより、撮影対象領域の俯瞰画像を生成する。空間画像は、撮影対象領域を立体的に表した立体画像であり、あらかじめ作成されたものが空間画像記憶部８に記憶されている。

空間画像記憶部８に記憶されている空間画像は、各部屋、廊下、階段、エレベータといった個々の撮影対象領域（以下、個別領域という）の空間を立体的に表したものの他に、建物全体、フロア全体といったように複数の撮影対象領域を複合させた領域（以下、複合領域という）の空間を立体的に表したものもある。

俯瞰画像生成部４がどの撮影対象領域の立体画像をどの空間画像に合成するかは、ユーザが任意に指定することができるようになっている。すなわち、建物全体、フロア全体、フロア内の部屋、廊下、階段、エレベータのうちどの個別領域または複合領域を俯瞰画像としてディスプレイ４００に表示させるのかについて、ユーザが操作部（図示せず）を操作することによって指定することが可能である。

操作受付部７は、この領域指定のための操作を受け付けて、その指定内容を俯瞰画像生成部４に通知する。俯瞰画像生成部４は、この通知を受けて、指定された領域（以下、表示対象領域という）の空間画像を空間画像記憶部８から読み出す。そして、読み出した空間画像に対し、表示対象領域について立体画像生成部３により生成された移動物体の立体画像を合成して俯瞰画像を生成する。なお、操作受付部７が領域指定の内容を立体画像生成部３にも通知し、指定された表示対象領域についてのみ移動物体の立体画像を生成するようにしてもよい。

表示制御部５は、俯瞰画像生成部４により生成された俯瞰画像をディスプレイ４００に表示させるように制御する。上述したように、本実施形態では、どの領域の俯瞰画像をディスプレイ４００に表示させるのかをユーザが操作部の操作によって指定可能となっている。表示制御部５は、指定された表示対象領域について立体画像生成部３および俯瞰画像生成部４により生成された俯瞰画像をディスプレイ４００に表示させるように制御する。

また、本実施形態では、俯瞰画像をユーザが見る仮想的な視点（ディスプレイ画面手前の方向にある点）の位置を移動させて投影面３１〜３４の向きを変えることにより、様々な角度から見た俯瞰画像に任意に切り替えてディスプレイ４００に表示させることも可能である。操作受付部７は、この視点移動のための操作を受け付けて、その指定内容を立体画像生成部３および俯瞰画像生成部４に通知する。

立体画像生成部３は、指定された視点の位置から見た投影面３１〜３４を設定し、上述した処理により移動物体の立体画像を生成する。また、俯瞰画像生成部４は、空間画像記憶部８から読み出した空間画像を、指定された視点の位置から見た状態の立体画像に変形させた上で、立体画像生成部３により生成された移動物体の立体画像を合成することによって俯瞰画像を生成する。表示制御部５は、このようにして指定された視点から見た状態の俯瞰画像をディスプレイ４００に表示させる。

図４は、ディスプレイ４００に表示される俯瞰画像の一例を示す図である。図４（ａ）は、表示対象領域として建物全体を指定したときに表示される俯瞰画像を示している。また、図４（ｂ）は、表示対象領域としてある特定のフロア（ここでは７階）を指定したときに表示される俯瞰画像を示している。

図４（ａ）において、４１_-1〜４１_-9は建物内の各フロアを示した空間画像、４２_-1〜４２_-2は建物内のエレベータを示した空間画像である。各フロアの空間画像４１_-1〜４１_-9と、各エレベータの空間画像４２_-1〜４２_-2とにより建物全体の空間画像が構成されている。この建物全体の空間画像は、各フロアやエレベータの構造と位置関係を厳密に表したものではなく、簡略化して表したものとなっている。

また、図４（ａ）において、４３は立体画像生成部３により生成された移動物体の立体画像を示している。本実施形態では、各フロアの各部屋等に撮影対象領域が設定されていて、その撮影対象領域毎に立体画像生成部３により移動物体の立体画像が生成されている。図４（ａ）に示すように建物全体といった複合領域の俯瞰画像を表示するときは、建物全体の空間画像に対して、複数の撮影対象領域毎に生成された移動物体の立体画像が、各フロアの各部屋内の対応する位置に合成される。

図４（ｂ）において、４４_-1〜４４_-5はフロア内の各部屋を示し、４５はフロア内の廊下を示している。これらの各部屋４４_-1〜４４_-5と廊下４５とによりフロア全体の空間画像が構成されている。このフロア全体の空間画像は、各部屋や廊下の構造と位置関係とをある程度厳密に表したものとなっている。

また、図４（ｂ）において、４６は立体画像生成部３により生成された移動物体の立体画像を示している。図４（ｂ）に示す例では、フロア内の各部屋や廊下に対して設定された撮影対象領域毎に立体画像生成部３により生成された移動物体の立体画像が、フロア全体の空間画像における対応する位置に合成されている。

図２に戻って説明する。関連情報生成部６は、移動物体の立体画像を構成している各画素の位置と、当該画素の値の投影元である撮影画像とを関連付ける関連情報を生成して関連情報記憶部９に記憶させる。図５は、関連情報記憶部９に記憶される関連情報の一例を示す図である。

図５に示すように、関連情報は、個々の移動物体の立体画像に対してユニークに付与された移動物体ＩＤと、当該立体画像を構成している各画素の俯瞰画像上での座標位置と、当該立体画像を構成している各画素の値の投影元である撮影画像に対してユニークに付与された画像ＩＤとを有している。

１つの立体画像は、複数のカメラにより撮影された複数の撮影画像から生成されている。すなわち、立体画像を構成している各画素の値の投影元である撮影画像は複数存在している。よって、画像ＩＤは１つの移動物体ＩＤに対して複数記憶されることになる。

ここで、移動物体ＩＤと画像ＩＤは、立体画像生成部３が撮影画像から移動物体の立体画像を生成するときに付与し、関連情報生成部６に通知する。また、立体画像を構成している各画素の俯瞰画像上での座標位置は、俯瞰画像生成部４が立体画像を空間画像に合成して俯瞰画像を生成するときに特定し、関連情報生成部６に通知する。

表示制御部５は、ユーザによる操作部の操作を通じて、ディスプレイ４００に表示されている俯瞰画像の中から任意の立体画像上の位置が指定されたときに、関連情報記憶部９に記憶された関連情報を参照して、指定された位置に関連付けられた撮影画像をディスプレイ４００に表示させるように制御する。

すなわち、ユーザの操作により俯瞰画像上の任意の位置が指定されたことを操作受付部７が受け付けると、その指定された位置を表示制御部５に通知する。表示制御部５は、関連情報記憶部９に記憶されている関連情報を参照して、俯瞰画像上で指定された位置が、移動物体の立体画像上の位置であるか否かを判定する。そうである場合、表示制御部５は、指定された位置に関連付けられた画像ＩＤにより特定される撮影画像を画像入力部１から入力してディスプレイ４００に表示させるように制御する。

なお、俯瞰画像上で指定された立体画像の位置に対して複数の画像ＩＤが関連づけられている場合は、何れか１つの画像ＩＤに対応する撮影画像を１画面に選択的に表示させるようにしてもよいし、複数の画像ＩＤに対応する撮影画像を１画面に分割表示させるようにしてもよい。１つの撮影画像を選択的に表示させる場合、その選択ルールは任意に設定することが可能である。例えば、視点の位置に最も近い投影面に対応する撮影画像を選択するといったルールが考えられる。

図６は、以上のように構成した第１の実施形態による画像処理システムの一構成要素である画像処理装置３００の動作例を示すフローチャートである。なお、図６に示すフローチャートは、画像処理装置３００の電源をオンとしたときに開始する。

まず、画像処理装置３００は、複数の画像入力装置２０１，２０２から複数の撮像部１０１，１０２による１フレーム分の撮影画像を入力する（ステップＳ１）。ここで、操作受付部７は、建物全体、フロア全体、フロア内の部屋、廊下、階段、エレベータのうちどの領域を俯瞰画像としてディスプレイ４００に表示させるのかについて、操作部の操作によりユーザから表示対象領域の指定を受け付けたか否かを判定する（ステップＳ２）。

操作受付部７がこの表示対象領域を指定するための操作を受け付けた場合、立体画像生成部３および俯瞰画像生成部４は、その指定された表示対象領域について立体画像および俯瞰画像を生成するように設定を変更する（ステップＳ３）。一方、操作受付部７が表示対象領域を指定するための操作を受け付けていない場合、立体画像生成部３および俯瞰画像生成部４は上述のような設定の変更はしない。なお、初期状態では、例えば、建物全体の複合領域が表示対象領域として設定されている。

次に、操作受付部７は、ユーザが俯瞰画像を見る仮想的な視点の位置を移動させる操作を受け付けたか否かを判定する（ステップＳ４）。操作受付部７がこの指定移動の操作を受け付けた場合、立体画像生成部３および俯瞰画像生成部４は、移動された視点の位置から見た状態の投影面３１〜３４を設定する（ステップＳ５）。一方、操作受付部７が視点移動のための操作を受け付けていない場合、立体画像生成部３および俯瞰画像生成部４は上述のような投影面３１〜３４の変更はしない。

その後、奥行情報算出部２は、表示対象領域についてステップＳ１で入力された複数の撮影画像のそれぞれについて、当該撮影画像上から移動物体を検出する（ステップＳ６）。そして、各撮影画像から検出したそれぞれの移動物体について、カメラからの距離を表す奥行情報を画素毎に算出する（ステップＳ７）。

次に、立体画像生成部３は、表示対象領域に含まれる撮影対象領域毎に、複数の撮影画像から検出した移動物体の各画素の値を投影面３１〜３４の方向に奥行情報に従って投影させる。これにより、移動物体の立体画像を撮影対象領域毎に生成する（ステップＳ８）。

さらに、俯瞰画像生成部４は、ステップＳ８で撮影対象領域毎に生成された移動物体の立体画像を、表示対象領域（１つの撮影対象領域から成る個別領域または複数の撮影対象領域から成る複合領域）に対応する空間画像に合成することにより、表示対象領域の俯瞰画像を生成する（ステップＳ９）。そして、この生成された俯瞰画像を表示制御部５がディスプレイ４００に表示させる（ステップＳ１０）。

このように俯瞰画像がディスプレイ４００に表示された状態で、操作受付部７は、ユーザが俯瞰画像上の任意の位置を指定する操作を受け付けたか否かを判定する（ステップＳ１１）。この位置指定の操作を操作受付部７が受け付けていない場合、操作受付部７はさらに、画像処理装置３００の電源をオフにする操作を受け付けたか否かを判定する（ステップＳ１２）。

ここで、電源オフの操作を操作受付部７が受け付けていない場合、処理はステップＳ１に戻り、次のフレームの撮影画像を入力する。一方、電源オフの操作を操作受付部７が受け付けた場合、図６に示すフローチャートの処理は終了する。

上記ステップＳ１１において、俯瞰画像上の任意の位置を指定する操作を操作受付部７が受け付けた場合、表示制御部５は、関連情報記憶部９に記憶されている関連情報を参照して、俯瞰画像上で指定された位置が移動物体の立体画像上の位置であるか否かを判定する（ステップＳ１３）。

俯瞰画像上で指定された位置が移動物体の立体画像上の位置でなかった場合、処理はステップＳ１２に進む。一方、俯瞰画像上で指定された位置が移動物体の立体画像上の位置であった場合、表示制御部５は、指定された位置に関連付けられた画像ＩＤにより特定される撮影画像をディスプレイ４００に表示させる（ステップＳ１４）。

その後、操作受付部７は、撮影画像の表示を俯瞰画像の表示に戻すための操作を受け付けたか否かを判定する（ステップＳ１５）。この操作を操作受付部７が受け付けた場合、処理はステップＳ１２に進む。一方、この操作を操作受付部７が受け付けていない場合、操作受付部７はさらに、画像処理装置３００の電源をオフにする操作を受け付けたか否かを判定する（ステップＳ１６）。

ここで、電源オフの操作を操作受付部７が受け付けていない場合、画像処理装置３００は、上記ステップＳ１４で特定された画像ＩＤに対応する撮影画像の次のフレームを入力する（ステップＳ１７）。その後、処理はステップＳ１４に戻り、当該入力した撮影画像を表示制御部５がディスプレイ４００に表示させる。一方、電源オフの操作を操作受付部７が受け付けた場合、図６に示すフローチャートの処理は終了する。

以上詳しく説明したように、第１の実施形態によれば、撮影画像から検出した奥行情報に従って各画素の値が投影面３１〜３４の方向に投影されて成る点群のデータとして移動物体の立体画像が生成され、その立体画像が表示対象領域の空間画像と合成されて、１つの全体的な俯瞰画像として表示される。

そのため、大規模でフロア構成が複雑な建物などで撮影対象領域の数が増えたとしても、多数の撮影画像がディスプレイ４００に画面分割して表示されたり時分割により切り替えて表示されたりするようなことはない。すなわち、建物の全体空間の中に複数の撮影対象領域が含まれていて、各々の撮影対象領域内に点群の立体画像が合成されて成る１つの俯瞰画像がディスプレイ４００に表示されることとなる。

これにより、ユーザは、俯瞰画像の確認により建物全体の状況を一目で把握することができるようになる。また、画面分割して表示された個々の撮影画像がその表示サイズが小さくなって見づらくなるという不都合も解消することができる。したがって、第１の実施形態によれば、大規模でフロア構成が複雑な建物であっても、その俯瞰画像を分かりやすく提供することができ、建物全体の状況をユーザが容易に把握することができる。

なお、立体画像の描画には多面体モデルを用いるのが一般的だが、点群データを多面体モデル化するには連続性のある精度の高いデータが必要である。断続性の高いデータおよび精度の低いデータでは多面体モデル化が困難であり、データの３次元空間での統合は困難である。第１の実施形態によれば、断続性の高い精度の低い点群データであっても、人間が識別可能な移動物体の画像を描画することができる。

また、第１の実施形態によれば、複数の角度から撮影対象領域を撮影して得られた撮影画像から、それぞれの撮影画像に含まれる移動物体の各画素の値が各撮影画像の投影面の方向に投影されて立体画像が合成される。そのため、移動物体の立体画像を含む俯瞰画像を見る仮想的な視点の位置を移動させて投影面の向きを変えることにより、様々な角度から見た俯瞰画像に任意に切り替えてディスプレイ４００に表示させることができる。

すなわち、第１の実施形態によれば、複数の撮影画像から点群のデータに加工された移動物体の立体画像を含む表示対象領域の俯瞰画像をディスプレイ４００に表示させ、しかもその俯瞰画像の視点を任意に切り替えて表示させることができる。これにより、例えば、ある角度から見たときに物陰に隠れて見えなくなるようなものを俯瞰画像の角度を変えて表示させることも可能となる。

また、第１の実施形態によれば、建物全体、フロア全体、フロア内の部屋、廊下、階段、エレベータのうちどの個別領域または複合領域を俯瞰画像の表示対象領域とするかを任意に選んで切り替えることができる。これにより、例えば、建物全体あるいはフロア全体といった複合領域の俯瞰画像で各領域の移動物体の動きを１画面で俯瞰的に確認しつつ、必要に応じて任意の部屋、廊下、階段、エレベータといった個別領域の俯瞰画像に瞬時に切り替えて移動物体の動きを精緻に確認することができる。

さらに、第１の実施形態によれば、移動物体の立体画像を構成している点群データの各々の点（各画素）は、俯瞰画像上での位置と、当該画素の値の投影元である撮影画像とを関連付ける関連情報を有している。そのため、俯瞰画像上に表示されている移動物体の位置を指定することにより、その指定した移動物体が写っている元の撮影画像に切り替えて表示することもできる。これにより、点群のデータに加工される前の撮影画像そのものによって移動物体をより精密に監視することも可能である。

（第２の実施形態）
以下、本発明の第２の実施形態を図面に基づいて説明する。図７は、第２の実施形態による画像処理システムの構成例を示す図である。第２の実施形態も、本発明の画像処理システムを監視システムに実施した例を示す。

図７に示すように、第２の実施形態による監視システムは、図１に示した各構成に加え、タブレット、ノート型パーソナルコンピュータあるいはスマートフォン等の携帯端末６００を備えている。この携帯端末６００は、画像を表示させるディスプレイを備えている。この携帯端末６００は、構内ネットワーク５００を介して画像処理装置３００に接続されている。

図８は、第２の実施形態による画像処理システムの機能構成例を示すブロック図である。なお、この図８において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図８に示すように、第２の実施形態による画像処理システムは、図２に示した機能構成に加えて、位置・方位検出部１１、表示対象領域特定部１２、画像送信部１５および表示制御部１６を備えている。また、立体画像生成部３および俯瞰画像生成部４の代わりに立体画像生成部１３および俯瞰画像生成部１４を備えている。

ここで、位置・方位検出部１１および表示制御部１６の機能は、図１に示した携帯端末６００に備えられる。また、表示対象領域特定部１２、立体画像生成部１３、俯瞰画像生成部１４および画像送信部１５の機能は、図１に示した画像処理装置３００に備えられる。

画像処理装置３００が備える奥行情報算出部２、立体画像生成部１３、俯瞰画像生成部１４、表示制御部５、関連情報生成部６、操作受付部７、表示対象領域特定部１２および画像送信部１５の各機能は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。ソフトウェアによって構成する場合、上記各機能は、実際には画像処理装置３００のＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された画像処理用プログラムが動作することによって実現される。

位置・方位検出部１１は、携帯端末６００の現在位置および携帯端末６００が向けられている現在方位を検出する。この位置・方位検出部１１は、例えばＧＰＳ受信機により構成される。位置・方位検出部１１は、携帯端末６００の現在位置および現在方位を常時検出し、検出した情報を構内ネットワーク５００を介して画像処理装置３００に常時送信している。

画像処理装置３００の表示対象領域特定部１２は、位置・方位検出部１１により検出された携帯端末６００の現在位置および現在方位に基づいて、複数の撮影対象領域の中から俯瞰画像として表示させる撮影対象領域を表示対象領域として特定する。

図９は、この表示対象領域特定部１２による処理を説明するための図である。ここでは、図４（ｂ）に示したフロアの間取りを示している。携帯端末６００を所持した監視員がこのフロアの廊下４５にいて、携帯端末６００を部屋４４_-2の方向に向けていたとする。この場合、位置・方位検出部１１により携帯端末６００の現在位置ＰＰおよび現在方位ＰＤが検出され、画像処理装置３００に送信される。

画像処理装置３００の表示対象領域特定部１２は、位置・方位検出部１１により検出された携帯端末６００の現在位置ＰＰから現在方位ＰＤの方向にある部屋４４_-2の撮影対象領域を、俯瞰画像を表示させる表示対象領域として特定する。

立体画像生成部１３は、第１の実施形態で説明した機能に加えて、以下の機能を有する。すなわち、立体画像生成部１３は、表示対象領域特定部１２により表示対象領域が特定された場合、当該特定された表示対象領域に含まれる撮影対象領域について、第１の実施形態で説明した方法により立体画像を生成する。なお、図９の例では、表示対象領域に含まれる撮影対象領域は、部屋４４_-2の撮影対象領域の１つのみである。

ここで、立体画像を生成する際の投影面３１〜３４をどのような角度に設定するかについては、任意に決めることが可能である。例えば、位置・方位検出部１１により検出された現在位置ＰＰから現在方位ＰＤの方向を見た状態で俯瞰画像が表示されるように、投影面３１〜３４の角度を現在位置ＰＰおよび現在方位ＰＤに応じて動的に設定する。あるいは、例えば図４（ｂ）に示したような固定の角度で俯瞰画像が表示されるように、投影面３１〜３４を所定の角度にあらかじめ設定しておくようにしてもよい。

俯瞰画像生成部１４は、第１の実施形態で説明した機能に加えて、以下の機能を有する。すなわち、俯瞰画像生成部１４は、表示対象領域特定部１２により表示対象領域が特定された場合、当該特定された表示対象領域について俯瞰画像を生成する。そして、俯瞰画像生成部４は、生成した俯瞰画像を画像送信部１５に供給する。

画像送信部１５は、俯瞰画像生成部１４により生成された俯瞰画像を携帯端末６００に送信する。携帯端末６００の表示制御部１６は、画像送信部１５により送信された俯瞰画像を、位置・方位検出部１１により検出された現在位置ＰＰから現在方位ＰＤの方向にある表示対象領域の俯瞰画像として、携帯端末６００のディスプレイ（図示せず）に表示させる。

以上詳しく説明したように、第２の実施形態によれば、携帯端末６００を用いて、壁の向こう側や別のフロアを移動している移動物体の動きをあたかも透視したように表示することができる。これにより、監視員は、例えば特定の人物を追跡する場合などに、その人物がいる場所とは異なる場所から、その人物の動きをリアルタイムに確認することができる。よって、監視能力が飛躍的に向上する。

なお、上記第２の実施形態では、携帯端末６００のディスプレイに俯瞰画像を表示させる例について説明したが、本発明はこれに限定されない。例えば、ＨＵＤ（Head-Up Display）等の携帯型ディスプレイを用いるようにしてもよい。この場合、当該携帯型ディスプレイにＧＰＳ受信機やデータ送受信機能を備えるのが好ましい。

（第３の実施形態）
以下、本発明の第３の実施形態を図面に基づいて説明する。第３の実施形態による画像処理システムの構成は、図１または図６と同様である。すなわち、第３の実施形態による画像処理システムは、上述した第１の実施形態または第２の実施形態の応用例である。以下では、第１の実施形態の応用例として第３の実施形態を説明する。

図１０は、第３の実施形態による画像処理システムの機能構成例を示すブロック図である。なお、この図１０において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図１０に示すように、第３の実施形態による画像処理システムは、図２に示した機能構成に加えて、動き検出部２１、動きパターン記憶部２２、動き判定部２３、警報発生部２４および移動物体追跡部２６を備えている。また、表示制御部５の代わりに表示制御部２５を備えている。動き検出部２１、動きパターン記憶部２２、動き判定部２３、警報発生部２４、表示制御部２５、移動物体追跡部２６の何れも、図１に示した画像処理装置３００に備えられている。

画像処理装置３００が備える奥行情報算出部２、立体画像生成部３、俯瞰画像生成部４、表示制御部２５、関連情報生成部６、操作受付部７、動き検出部２１、動き判定部２３、警報発生部２４および移動物体追跡部２６の各機能は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。ソフトウェアによって構成する場合、上記各機能は、実際には画像処理装置３００のＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された画像処理用プログラムが動作することによって実現される。

動き検出部２１は、立体画像生成部３により生成された立体画像の時間軸上での変化を解析することにより、当該立体画像で表されている移動物体の動きを検出する。すなわち、所定のフレームレートに従って撮像部１０１，１０２により順次撮影される撮影画像を用いて立体画像生成部３により立体画像が順次生成されているので、動き検出部２１は、順次される立体画像のフレーム間差分を検出することにより、当該立体画像で表される移動物体の動きを検出する。

本実施形態では、移動物体の移動の様子を検出するのみならず、移動物体の形状の細かい変化も検出する。立体画像は点群のデータで構成されているので、このような細かい変化の検出も可能である。例えば、移動物体が人物の場合、動き検出部２１は、人体の骨格構造の動きまで検出することが可能である。

動きパターン記憶部２２は、移動物体に関する特定の動きパターンのデータをあらかじめ記憶する。例えば、人が重い荷物を右手で持つと引き上げようという意識から右肩が上がって左肩が下がるとか、人が重い荷物を持って歩くと上下動が普段より大きくなるとか、そういった動きのパターンに関するデータを動きパターン記憶部２２は記憶している。

動き判定部２３は、動き検出部２１により検出された移動物体の動きが、動きパターン記憶部２２に記憶されている動きパターンと合致するか否かを判定する。なお、ここでいう合致とは、完全合致のみならず、合致度が所定値以上の場合を含む概念である。

警報発生部２４は、動き判定部２３により移動物体の動きが動きパターンと合致すると判定された場合に、所定の警報を発する。例えば、警報発生部２４は、図１１に示すように、動きパターンと合致すると判定された移動物体の周囲に枠６０を表示するように表示制御部２５を制御する。この枠６０の表示と共に警報音を鳴らすようにしてもよい。

移動物体追跡部２６は、動き判定部２３により動きが動きパターンと合致すると判定された移動物体の時間軸上での動きを追跡する。動き検出部２１により検出される人体の骨格構造の動きは、ある程度固有のものであり、連続性の特定にも利用できる。これにより、１つの撮影対象領域の撮影画像から順次生成される立体画像について、その動きの固有性をもとに同じ移動物体であることを特定して、その移動物体を追跡することが可能となる。

また、図１２のように移動物体が複数の撮影対象領域を跨いて移動するような場合でも、その移動物体の連続した追跡が可能である。すなわち、移動物体が部屋４４_-2にいるときに当該部屋４４_-2の撮影対象領域について生成された立体画像と、移動物体が廊下４５に移動した後に当該廊下４５の撮影対象領域について生成された立体画像とが同じ移動物体のものであることを、その移動物体の動きの固有性をもとに容易に特定することができる。そのため、複数の撮影対象領域を跨いて移動する移動物体を確実に追跡することが可能となる。

移動物体追跡部２６による移動物体の追跡結果は、例えば警報発生部２４に通知する。警報発生部２４、この追跡結果を受けて、動き判定部２３により動きパターンと合致すると判定された移動物体の周囲に、警報のための枠６０を追尾させて表示させる。

なお、上記第３の実施形態では、動き検出部２１、動き判定部２３、警報発生部２４および移動物体追跡部２６による解析処理を撮像部１０１，１０２による撮影と共にリアルタイムに行う例について説明したが、本発明はこれに限定されない。例えば、俯瞰画像生成部４により順次生成される俯瞰画像をデータベースに蓄積し、蓄積した俯瞰画像を対象として事後的に解析処理を行うようにしてもよい。

また、データベースに蓄積した俯瞰画像の事後的な解析処理により、過去に何らかの不正を働いた人物の特徴的な動きを動き検出部２１により検出して、その動きを動きパターンのデータとして動きパターン記憶部２２に記憶させるようにしてもよい。このようにすれば、要注意人物の監視を容易に行うことができる。すなわち、要注意人物が撮影対象領域内に入ってきたときに、その要注意人物の立体画像の周囲に枠６０を表示させて監視員への注意を喚起することができる。

また、データベースに順次蓄積した俯瞰画像の中から、特定の動きを有する移動物体が含まれている時間帯の俯瞰画像のみを抽出して表示させることも可能である。その際、移動物体の軌跡を表示させることも可能であるし、移動物体の一連の動きをストロボ写真のように表示させることも可能である。また、骨格構造の動きで特定の変化がある部分を強調して表示させることも可能である。さらに、表示する時間間隔を間引くことによって移動物体の動きを見やすくすることも可能である。

なお、上記第１〜第３の実施形態では、本発明の画像処理システムを監視システムに実施する例について説明したが、本発明はこれに限定されない。例えば、小売店における来店者の解析（人数計測、購買行動認識など）、介護施設や病院等における安否確認や徘徊確認などのシステムに実施することも可能である。

また、上記第１〜第３の実施形態では、移動物体の奥行情報を検出するための手段としてステレオカメラを用いる例について説明したが、本発明はこれに限定されない。例えば、ステレオカメラの代わりに通常のカメラを用いる一方、レーダや赤外線、超音波等を用いる距離を測定するセンサを用いて撮像部１０１，１０２から移動物体までの距離を測定するようにしてもよい。

また、移動物体の立体画像を点群データとして生成するために、必ずしもカメラを用いて画像を撮像することは必須ではない。すなわち、レーダや赤外線等のセンサといった距離情報（奥行情報）を出力可能な装置を用いて、当該装置から移動物体までの距離を測定することにより、その距離情報から移動物体の立体画像を色情報を持たない点群データとして生成するようにしてもよい。この場合、描画時には適切な色を用いて描画を行う。

その他、上記第１〜第３の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (6)

1. 撮影対象領域を複数の角度から撮影するように設置された複数のカメラによりそれぞれ撮影された画像を入力する画像入力部と、
   上記画像入力部により入力された複数の撮影画像に含まれる移動物体の上記カメラからの距離を表す奥行情報を画素毎に算出する奥行情報算出部と、
   上記複数のカメラ間の相対的な角度関係に合わせて複数の投影面を設定し、上記画像入力部により入力された複数の撮影画像に含まれる上記移動物体の各画素の値を、各撮影画像に対応する投影面の方向に上記奥行情報に従って投影させることにより、上記複数の撮影画像に含まれている上記移動物体が１つに合成された立体画像を生成する立体画像生成部と、
   上記立体画像生成部により生成された上記移動物体の立体画像を、上記撮影対象領域の空間を表す空間画像に合成することにより、上記撮影対象領域の俯瞰画像を生成する俯瞰画像生成部と、
   上記俯瞰画像生成部により生成された俯瞰画像をディスプレイに表示させる表示制御部とを備えたことを特徴とする画像処理システム。
2. 上記立体画像を構成している各画素の位置と、当該画素の値の投影元である撮影画像とを関連付けた関連情報を生成して関連情報記憶部に記憶させる関連情報生成部を更に備え、
   上記表示制御部は、上記立体画像上の位置が指定されたときに、上記関連情報記憶部に記憶された関連情報を参照して、上記指定された位置に関連付けられた撮影画像を上記ディスプレイに表示させることを特徴とする請求項１に記載の商品情報提供システム。
3. 上記ディスプレイは、携帯型ディスプレイまたは携帯端末に備えられたディスプレイにより構成され、
   上記携帯型ディスプレイまたは上記携帯端末の現在位置および上記ディスプレイが向けられている現在方位を検出する位置・方位検出部と、
   上記位置・方位検出部により検出された上記現在位置および上記現在方位に基づいて、複数の上記撮影対象領域の中から上記俯瞰画像として表示させる撮影対象領域を表示対象領域として特定する表示対象領域特定部とを更に備え、
   上記立体画像生成部は、上記表示対象領域特定部により特定された上記表示対象領域に含まれる上記撮影対象領域について上記立体画像を生成し、
   上記俯瞰画像生成部は、上記表示対象領域特定部により特定された上記表示対象領域について上記俯瞰画像を生成し、
   上記表示制御部は、上記表示対象領域特定部により特定された上記表示対象領域の俯瞰画像を上記ディスプレイに表示させることを特徴とする請求項１に記載の画像処理システム。
4. 上記立体画像生成部により生成された上記立体画像の時間軸上での変化を解析することにより、当該立体画像で表されている上記移動物体の動きを検出する動き検出部と、
   上記移動物体に関する特定の動きパターンのデータを記憶する動きパターン記憶部と、
   上記動き検出部により検出された上記移動物体の動きが、上記動きパターン記憶部に記憶されている動きパターンと合致するか否かを判定する動き判定部と、
   上記動き判定部により上記移動物体の動きが上記動きパターンと合致すると判定された場合に警報を発する警報発生部とを更に備えたことを特徴とする請求項１に記載の画像処理システム。
5. 上記動き判定部により上記移動物体の動きが上記動きパターンと合致すると判定された上記移動物体の時間軸上での動きを追跡する移動物体追跡部を更に備えたことを特徴とする請求項４に記載の画像処理システム。
6. 撮影対象領域を複数の角度から撮影するように設置された複数のカメラからそれぞれ入力された複数の撮影画像を解析することにより、上記撮影画像に含まれる移動物体の上記カメラからの距離を表す奥行情報を画素毎に算出する奥行情報算出手段、
   上記複数のカメラ間の相対的な角度関係に合わせて複数の投影面を設定し、上記複数のカメラからそれぞれ入力された複数の撮影画像に含まれる上記移動物体各画素の値を、各撮影画像に対応する投影面の方向に上記奥行情報に従って投影させることにより、上記複数の撮影画像に含まれている上記移動物体が１つに合成された立体画像を生成する立体画像生成手段、
   上記立体画像生成手段により生成された上記移動物体の立体画像を、上記撮影対象領域の空間を表す空間画像に合成することにより、上記撮影対象領域の俯瞰画像を生成する俯瞰画像生成手段、および
   上記俯瞰画像生成手段により生成された俯瞰画像をディスプレイに表示させる表示制御手段
   としてコンピュータを機能させるための画像処理用プログラム。

Images