WO2004084542A1

WO2004084542A1 - パノラマ画像生成方法及びその装置並びにこれらの方法・装置を用いた監視システム

Info

Publication number: WO2004084542A1
Application number: PCT/JP2003/003403
Authority: WO
Inventors: Seijiro Tomita
Original assignee: Seijiro Tomita
Priority date: 2003-03-20
Filing date: 2003-03-20
Publication date: 2004-09-30
Also published as: AU2003236050A1

Abstract

単一CCDカメラ1の撮像面に対向する位置に、チルト回動及び/又はパーン回動可能に構成されてなるミラー2を傾斜させて配置し、該ミラー2の回転角に応じて得られた分割画像1～16を蓄積して、各分割画像1～16を画像表示装置27の一画面上に繋ぎ合わせてパノラマ画像を生成することで、一台のカメラ1で広範囲の監視をすることができ、しかも、得られる画像も高精度ワイドカメラで撮影した画像と遜色がない鮮明な画像を得ることができると共に、景色に変化が生じた場合には、その変化を監視者に自動的に教示することができる安価で小型化が可能なパノラマ画像生成方法及びその装置並びにこの方法・装置を用いた監視システムが提供できる。

Description

明細書

パノラマ画像生成方法及びその装置並びにこれらの方法 ·装置を用いた監視システム

技術分野

この発明は、例えば、全周 3 6 0度の監視範囲を単一カメラ等で撮像して、これをパノラマ画像として繋ぎ合せて表示することができるパノラマ画像生成方法及ぴその装置に関する。 .

技術背景

従来の監視装置の多くは、ビデオカメラで監視対象周辺部を撮影し、監視し或は画像を録画保存しているのが現状である。

このような従来の監視装置では、広い範囲を監視する場合、ビデオカメラをゆつくりとチルト方向（上下方向）及びパーン方向（水平方向）に回動して監視しなければならないため、ビデオカメラの回転駆動装置が大型化し、また、電源コ一ドゃ画像送信ケーブル等を配線しなければならないため、該コ一ドゃケーブルが磨耗したり断線する場合が多く、耐久性がなく、さらには、ビデオカメラはゆつくりと回動するため、死角が発生し易い、という問題を有していた。

このため、例えば、原子発電施設や軍事施設等の周辺を監視する場合には、死角を排除するため、広視野角レンズを搭載したカメラを施設周りに所要間隔毎に複数基配置し、これを監視室内に配置した複数台の画像表示装置に映し出して監視しているのが現状である。

しかしながら、複数台の画像表示装置を長時間、緊張を持続させて監視するのは、肉体的にも精神的にも不可能であり、重大な事故を看過する虞があるので問題である。

このような従来の問題を解決する手段としては、例えば、特開平 1 1一 4 3 7 3号に示すような全周パノラマ画像構成方法及ぴ装置がある。

この従来の方法及び装置は、撮像装置の撮像面に対向する位置にミラーを傾斜して設置し、該ミラ一を撮像装置の光軸を回転軸として 3 6 0度回転させ、当該ミラーの初期状態と初期状態から 3 6 0度回転した終状態の間をミラーの回転角に応じて適宜分割し、分割された各状態において撮像装置が撮像したミラーに映る各が座右の画像情報を蓄積し、蓄積された各画像情報に対して各回転角分だけの画像の中心を軸として回転変換を行い、回転変換された各画像情報を鏡像反転し、鏡像反転された各画像情報に対して平行移動及びパターンマッチングを行い、各画像情報を繋ぎ合せて全周パノラマ画像を得るように構成したものである。しかしながら、このような従来の全周パノラマ画像を得る技術にあっては、蓄積されるべき各画像が、各回転角毎に一定のパターンで歪むため、パターンマツチング処理を施したとしても、実際には歪みが是正されない状態でパノラマ表示されるため、高精度のワイドカメラで一画面撮影したものと比較した場合、実際の景色とは異なる画像が表示されることとなり、実用性に乏しい、という問題を有していた。

加えて、上記従来の全周パノラマ画像を得る技術にあっては、表示されている各回転角度に対応する画像と同じ回転角度で撮影された更新画像とのマツチング処理を伴わない構造であるため、前の画像と更新される画像との間に異なる場面があっても、監視者は、これを確認する手段がないため、上記変化を看過してしまい易く、事故を未然に防止することができない、という問題も有していた。この発明は、かかる現状に鑑み創案されたものであって、その目的とするところは、一台のカメラで広範囲の監視をすることができ、しかも、得られる画像も高精度ワイドカメラで撮影した画像と遜色がない鮮明な画像を得ることができると共に、景色に変化が生じた場合には、その変化を監視者に自動的に教示することができる安価で小型化が可能なパノラマ画像生成方法及ぴその装置並びにこの方法 ·装置を用いた監視システムを提供しようとするものである。

発明の開示

上記目的を達成するため、請求の範囲 1に記載された発明は、単一カメラの撮像面に対向する位置に、チルト回動及び/又はパーン回動可能に構成されてなるミラーを傾斜させて配置し、該ミラーの回転角に応じて得られた分割画像を蓄積して、各分割画像を画像表示装置の一画面上に繋ぎ合わせてパノラマ画像を生成する方法であって、上記各分割画像は、ミラ一の回転角に応じた撮像位置に対する捕正係数により歪が捕正されて表示されることを特徴とするものである。これにより、この発明にあっては、高精度のワイドカメラで撮像した画像と遜色がない鮮明で死角がないパノラマ画像を得ることができる。また、ミラーをチルト方向とパーン方向に回動させて画像を得る場合、両方向に対する歪捕正が必要となり、歪修正回路が複雑化するため、いずれか一方方向、望ましくは、ミラ一のパーン方向の回動と同期させてカメラもパーン方向へと回動させた場合には、チルト方向の歪を補正するだけでよいため、歪捕正回路を簡略化することができ、処理を高速化することができる。この場合、ミラーとカメラのパ一ン方向への同期回動に伴う静止状態から次の静止状態までの間に撮像される画像は、移動に伴うプレゃ歪が多いため、この間の画像は消去処理することで、記憶容量を小さく抑えることができ、また、画像処理も簡略化されるため望ましい。

また、請求の範囲 2に記載の発明は、前記分割画像を一画面上に繋ぎ合わせて表示した後、前記ミラーを同じ手順でチルト回動及ぴノ又はパーン回動させて同一位置の分割画像を順次更新するように構成したことを特徴とするものである。このように構成することで、ほぼリアルタイムのパノラマ画像を得ることができる。

さらに、請求の範囲 3に記載された発明は、請求の範囲 2に記載のパノラマ画像生成方法を前提とし、表示されている分割画像と更新される分割画像とを比較し、異なる部分がある場合には、この異なる部分を異なる色彩で表示し、或は、警告音を自動的に発するように構成したことを特徵とするものである。

このように構成することで、監視者が長時間にわたって画像表示画面を見続けることなく、景色の変化を自動的に知ることができるので、事故に繋がる変化を看過する心配がなく、事故を確実に防止することができる。

そして、この発明にあっては、上記更新画像に変化があった場合には、請求の範囲 4に記載したように、当該更新分割画像のみを一画面上に拡大し鮮明画像処理表示して、変化原因を迅速に分析することができるように構成することもできる。

また、この発明にあっては、請求の範囲 5に記載したように、前記異なる部分がある更新分割画像が表示された場合には、当該更新分割画像中の変化部分及び又は当該更新分割画像に隣接する画像を自動追尾して表示することを特徴とするものである。

これにより、変化の原因を見失うことなく、より迅速に分析することが可能となる。

さらに、この発明にあっては、請求の範囲 6に記載したように、前記異なる部分がある更新分割画像のみ、或は当該更新分割画像を含むパノラマ画像のみを記録保存することを特徴とするものである。

これにより、画像のメモリー容量を少なくすることができ、長時間の記録保存が可能となる。この場合、後で変化が発生した時間を特定できるように、この発明にあっては、請求の範囲 7に記載したように、画像の記録保存に加え、時間を同時に当該画面上に記録保存するのが望ましい。

また、この発明にあっては、請求の範囲 8に記載したように、前記各分割面像と隣接する分割画像の縁部をオーバーラップさせて画像のマツチング処理を施すことを特徴とするものである。

このように構成することで、あたかも高精度のワイドカメラで撮像したパノラマ画像のように繋ぎ目が見えないパノラマ画像を容易に得ることができる。

さらに、この発明にあっては、請求の範囲 9に記載したように、前記ミラーの回転角を G P Sとリンクさせ、得られた分割画像又は/及びパノラマ画像上に地図情報をオーバーラップさせて表示することを特徴とするものである。

これにより、画像の所在をより正確に特定することができる。

また、この発明にあっては、請求の範囲 1 0に記載したように、前記各分割画像と隣接する分割画像のオーバ一ラップ部分を拡大表示可能としたことを特徴とするものである。

これにより、この機能がなければ、一般的に、繋ぎ目部分の一方が欠けた状態で表示される分割画面の繋ぎ目部分であっても、各分割画面の中心部を見るように両方の分割画像のオーバーラップを拡大して見ることができる。

そして、この発明にあっては、請求の範囲 1 1に記載したように、前記カメラで撮像された画像を、手振れ防止手段によりブレを捕正するように構成したことを特徴とするものである。これにより、気象や周囲の振動に影響を受けることなく、より鮮明な画像を得ることができる。

このように構成されてなるパノラマ画像生成方法では、請求の範囲 1 2に記載したように、前記分割画像或はパノラマ画像の連続する 2つの画面の視差を利用して、奥行があって距離感がある立体画像を得ることもできる。

本発明を利用して立体画像を得る方法としては、請求の範囲 1 3に記載のパノラマ画像生成方法のほかに、請求の範囲 1 2に記載したように、前記ミラーと力メラとを一定距離離間させて一対づっ配置し、これら各ミラーとカメラとを同期作動させて得られた画像の視差を利用して立体画像を得ることもできる。

また、上記目的を達成するためのパノラマ画像生成装置を、この発明にあっては、請求の範囲 1 4に記載したように、一のカメラと、このカメラの撮像面に対向する位置に傾斜して配設されたミラーと、該ミラーをチルト方向及び Z又はパ —ン方向に回動制御する駆動手段と、この駆動手段により設定された傾斜角度に対応する分割画像を保存する手段と、この分割画像を画像表示装置の一画面上の所定位置に順次表示する手段と、上記各分割画像の歪をミラーの回転各に応じた撮像位置に対する補正係数により補正する制御手段と、を備えて構成したことを特徴とするものである。

このようにパノラマ画像生成装置を構成することで、安価な単一のカメラで、高精度のワイドカメラの画像と匹敵する高精度のパノラマ画像を得ることができる。また、この発明に係るパノラマ画像生成装置にあっては、ミラーをチルト方向とパーン方向に回動させて画像を得る場合、両方向に対する歪補正が必要となり、歪修正回路が複雑化するため、いずれか一方方向、望ましくは、ミラーのパーン方向の回動と同期させてカメラもパーン方向へと回動させた場合には、チルト方向の歪を捕正するだけでよいため、歪補正回路を簡略化することができ、処理を高速化することができる。この場合、ミラーとカメラのパーン方向への同期回動に伴う静止状態から次の静止状態までの間に撮像される画像は、移動に伴うプレゃ歪が多いため、この間の画像は消去処理することで、記憶容量を小さく抑えることができ、また、画像処理も簡略化されるため、装置を小型化しより安価に提供することができる。尚、前記一のカメラは、請求の範囲 1 5に記載したように、安価なデジタル力メラで構成することで、容易に、かつ迅速に画像をデジタル処理することができる。

また、上記デジタルカメラで撮像される画像は、請求の範囲 1 6に記載したように、手振れ防止手段によって画像の乱れを捕正することで、より鮮明な画像を得ることができる。

また、この発明に係るパノラマ画像生成装置にあっては、請求の範囲 1 7に記載したように、前記ミラーをチルト方向及ぴ Z又はバーン方向に駆動するモータとして、超音波モータを用いたことを特徴とするものである。

ステツピングモ一タゃパルスモータを用いた場合、ミラーを所定の位置で性格に停止させることが難しいのに対して、超音波モータは、高精度な位置決め制御が可能なため、プレがない鮮明画像を容易に得ることができる。

また、この発明にあっては、請求の範囲 1 8に記載したように、前記制御手段に、ミラーの回転角度情報に基づいて、傾倒した撮像画像の画像データを正立画像の画像データに修正処理する画像処理部を装備したので、安価なカメラで撮像した画像であっても、歪なく正確な画像として表示することができる。

また、この発明にあっては、請求の範囲 1 9に記載したように、前記制御手段に、前記ミラーの回転角情報と G P Sから得られる情報とをリンクさせる機能を付加し、得られた分割画像又は/及ぴパノラマ画像上に G P S情報に基づく地図情報をオーバーラップさせて表示することを特徴とするものである。

これにより、実写画像と地図とを正確にォーパーラップさせることができるので、実写画像の位置特定を正確に行うことができる。

さらに、この発明にあっては、請求の範囲 2 0に記載したように、前記制御手段は、各分割画像と隣接する分割画像のオーバーラップ部分を拡大表示することができるように構成としたことを特徴とするものである。

これにより、この機能がなければ、一般的に、繋ぎ目部分の一方が欠けた状態で表示される分割面面の繋ぎ目部分であっても、各分割画面の中心部を見るように両方の分割画像のォ一バーラップを拡大して見ることができ、高精度パノラマカメラで撮像した 1枚のパノラマ画像と同様に、必要な部分を繋ぎ目を気にすることなく拡大表示することができる。

さらに、この発明に係るパノラマ画像生成装置にあっては、請求の範囲 2 1に記載したように、前記制御手段に、撮像した分割画像数と同数の画像データを記憶すると共に、ミラーの 1順回転毎に画像データを更新記憶する記憶部を備えて構成したので、画像を記録保存することができる。この記憶保存の方法としては、撮像された分割画像或はパノラマ画像の全てを記憶保存してもよいが、請求の範囲 2 2に記載したように、前記異なる部分の分割画像のみを、或は、異なる部分の分割画像を含むパノラマ画像のみを記憶保存することで、メモリ一容量を小さく抑え、長時間の記憶保存ができるように構成するのが望ましい。この場合、請求の範囲 2 3に記載したように、画像とともに更新日時を記録することで、後のチェックが容易となるように構成するのが望ましい。

またさらに、この発明に係るパノラマ画像生成装置にあっては、請求の範囲 2 4に記載したように、前記制御手段に、保存されている分割画像と更新される分割画像とを比較し、異なる部分がある場合には、この異なる部分を異なる色彩で表示し、或は、警告音で注意力を喚起させる手段を配設して構成したので、長時間、同じ画像を見て監視する必要がなく、容易に景色の変化を知得することができる。

この場合、前記制御手段は、更新される分割画像が保存されている同一撮影位置における分割画像と異なる場合に、請求の範囲 2 5に記載したように、該更新分割画像を拡大表示させることで、変化の原因を容易に分析することができるので、事故を未然に防止する手段として有用である。

また、この発明にあっては、請求の範囲 2 6に記載したように、前記制御手段は、異なる部分がある更新分割画像が表示された場合には、当該更新分割画像中の変化部分及び又は当該更新分割画像に隣接する画像を自動追尾して表示する手段を有して構成したことを特徴とするものである。

これにより、監視員が経験と感により追尾するのと異なり、変化の原因を見失うことなく、自動的に追尾が可能となり、より迅速な分析をすることができる。さらに、この発明に係るパノラマ画像生成装置にあっては、請求の範囲 2 7に記載したように、前記制御手段に、各分割画像と隣接する分割画像の縁部をォーバーラップさせて画像のマッチング処理を施す手段を配設して構成したので、高精度ワイドカメラで撮像したパノラマ画像と同様の繋ぎ目のない高精度のパノラマ画像を容易に得ることができる。

尚、この発明に係るパノラマ画像生成装置にあっては、請求の範囲 2 8に記載したように、前記制御手段に、前記分割画像或はパノラマ画像の連続する 2つの画面の視差を利用して立体画像を生成する機能を付加することができ、この場合には、奥行があって距離感がある立体画像を得ることができ、実際の風景を見るのと大差がなくなるので疲れにくく、より監視を容易となすことができる。また、本発明に係るパノラマ画像生成装置にあっては、請求の範囲 2 9に記載したように、前記ミラーとカメラとを一定距離離間させて一対づっ配置し、これら各ミラーとカメラとを同期作動させて得られた画像の視差を利用して立体画像を得ることもできる。

このように構成されたパノラマ画像生成方法及ぴその装置は、請求の範囲 3 0 に記載したように、監視対象場所の周辺部を監視するシステムに用いることで、複数台のカメラとモニターとを多くの配線で接続して配置しなければならない従来の監視システムと比較して、非常に簡略で安価なシステムとして提供することができ、しかも、その精度は、上記従来の監視システムと比較して、より高精度のセキュリティ性を得ることができる。

図面の簡単な説明

図 1は、この発明の実施の一形態例に係るパノラマ画像生成装置の概略的な構成を示す説明図である。

図 2は、同パノラマ画像生成装置で撮像された分割画像を歪がない正立画像に変換する状態の説明図である。

図 3は、同パノラマ画像生成装置の構成を示すプロック図である。

図 4 ( A ) 及ぴ（B ) は、パノラマ画像の他の表示態様例を示す説明図である。

発明の実施の最良な形態

以下、添付図面に示す本発明による監視装置の一実施例に基づいてこの発明の詳細を説明する。

対象となる原子力施設や軍事施設等の周囲の景色を撮像するため、図示しない監視装置本体にデジタルカメラ（C C Dカメラ） 1が設けられ、これに付設して以下の装置が図 iに示すように設けられている。

即ち、デジタルカメラ 1に隣接してミラー 2が傾斜した状態で設けられている。このミラー 2は、ミラー仰角可動用モータ 3のモータ軸 3 ' に固定されており、モータ 3の作動によりミラー 2の仰角（チルト方向の角度）が調整される。

さらに、上記ミラー 2には、ミラー回転用モータ 4のモータ軸 4 ' が固定されており、モータ 4の作動によりミラー 2がパーン方向（水平方向）に回転するように構成されている。

図示の形態例では、デジタル力メラ 1の光軸とミラー 2の回転軸であるミラー回転用モータ 4のモータ軸 4 ' とは同一軸線上に位置する。ミラー仰角調整用モ —タ 3もミラー囪転用モータ 4もモータ制御回路 5 と導線により接続されている。尚、この形態例で用いられるミラー仰角調整用モータ 3及びミラー回転用モータ 4は、超音波モータが用いられる。この超音波モータの構成は公知であるので、その詳細な説明をここでは省略するが、この超音波モータは公知のステツビングモータやパルスモータと比較して、ミラー 2を所定の角度に正確に静止させる機能に優れているため、本発明では超音波モータを使用するのが望ましい。

また、上記モータ制御回路 5からミラー回転角度信号 6を信号処理及び制御回路 7に入力させるために導線が接続されている。

信号処理及び制御回路 7からデジタルカメラ制御信号 8を入力させるようにデジタルカメラ 1に導線が接続しており、デジタルカメラ制御信号 8によりデジタルカメラ 1の焦点調整、絞り及びシャツタ速度調整、ズーミング調整及び手振れ防止回路による画像の乱れ補正調整等が行われる。

—方、デジタルカメラ 1からの画像信号 9 (本形態例では、 1 6の分割画像信号）が導線を介してこの信号処理及び制御回路 7に入力される。これに基づいて信号処理及ぴ制御回路 7で 1 6の分割画像の各信号処理が行われる。

画像信号処理及ぴ制御回路 7からの処理された 1 6個の画像信号 1 0が順次画像表示装置 2 7の各対応場所に順次表示される。図 2には、信号処理及び制御回路 7における画像信号処理が示されている。図 2の上部分に、ミラ一 2の回転角度 2 2 . 5度毎のデジタルカメラ 1からの画像信号 9が示されている。尚、この形態例では、分割画像を 1 6個に設定したが、この発明にあってはこれに限定されるものではなく、分割数は任意であり、従つて、ミラー 2の回転角度も、分割数に対応して設定される。

ところで、ミラー 2の回転角度 2 2 . 5度毎のデジタルカメラ 1からの画像信号 9は、デジタルカメラ 1が連続回転していて高速シャッタの作動の下に撮像することにより、或は、ミラー回転角度 2 2 . 5度毎にデジタルカメラの回転を一瞬停止して撮像することにより送ることもできる。

ミラー 2の回転角度に従ってデジタル力メラ画像は正立画像に対してそれぞれ傾倒したり歪んだりしている。従って、これでは画像表示装置 2 7の画面上に映し出される分割画像は、ばらばらの角度で表示され、かつ、実際に撮像された各分割画像は、ミラー 2の回転角度によって歪んだ状態で撮像されているため、これをそのまま画面 2 7に表示したのでは、統一されたパノラマ画像を生成することができず、視覚監視に不都合である。このため、信号処理及ぴ制御回路 7における画像処理部のローテーション回路 1 2により、歪みや角度等が、ミラーの回転角度に対応して予め演算し記憶されてなる補正係数に基づき修正され、図 2の下部分に示されるような正立画像に修正されて、常に後続の V T R並びに画像表示装置 2 7の画面で正立画像が観察されることができるように構成されている。また、上記口一テーシヨン回路 1 2は、各分割画像と隣接する分割画像の縁部をオーバーラップさせて画像のマツチング処理を行い、高精度ワイドカメラで撮像したパノラマ画像と同様の繋ぎ目のない高精度のパノラマ画像を画面 2 7に表示するように構成されている。

このようにして撮像した分割画像数と同数の画像データは、信号処理及び制御回路 7で全て記憶保存されると共に、該信号処理及び制御回路 7には、ミラーの 1順回転毎、即ち、 1 6の分割画像を撮像した後、再ぴ分割画像 1 と同じ部分の景色を撮像し、以後、再び分割画像 2〜 1 6を順に撮像し、各分割画像データを更新記憶する記憶部が備えられている。このとき、各分割画像とともに更新日時が記録される。さらに、上記信号処理及び制御回路 7は、保存されている分割画像と更新される分割画像とを比較し、異なる部分がある場合には、この異なる部分を異なる色彩、例えば、赤色で表示したり、異なる旨を文字で知らしめ、或は、ブザーなどの警告音を発することで、監視者の注意力を喚起させるように構成されている。これにより、長時間、同じ画像を見て監視する必要がなく、容易に景色の変化を知得することができる。

また、上記信号処理及ぴ制御回路 7は、更新される分割画像が保存されている同一撮影位置における分割画像と異なる場合に、該更新分割画像を画面 2 7に任意の倍率で拡大表示させることができるように制御可能である。これにより、変化の原因を容易に分析することができるので、事故を未然に防止することが可能となる。

上記記憶保存回路で保存される画像は、上記したように、全ての分割画像及びパノラマ画像を記憶保存してもよいが、望ましくは、変化が生じた分割画像或はこの変化が生じた分割画像を含むパノラマ画像だけを記憶保存することで、メモリー容量を少なくでき、その結果、長時間録画が可能となるので好ましい。

また、変化が画面上に現れた場合には、この変化が生じた画面の目標物を自動的に追尾するよう、上記制御回路 7は、上記ミラ一 2とカメラ 1の作動を制御する。これにより、経験則や感に賴ることなく、目標物を自動的に追尾できるため、分析を容易に行うことができる。この自動追尾の場合の画面表示態様としては、図 4 ( B ) に示す表示態様が好適である。尚、この自動追尾手段は、例えば、特開 2 0 0 2— 2 4 7 4 4 0号ゃ特開 2 0 0 2— 2 9 0 9 6 2号等で公知であるので、その詳細な説明をここでは省略する。

また、この形態例では、特に図示はしないが、上記のようにして得られた画像の位置を、ミラー 2の回転角度情報と G P S情報とをリンクさせることで、当該画面上に地図情報をオーバーラップさせて表示させることができ、目標物の経緯度の特定を容易に行うことができる。勿論、この地図とのオーバ一ラップ画像を記憶し保存させてもよい。

尚、本形態例では、前記信号処理及び制御回路 7は、各分割画像と隣接する分割画像のオーバーラップ部分を拡大表示することができるように構成されている _c これにより、この機能がなければ、一般的に、繫ぎ目部分の一方が欠けた状態で表示される分割画面の繋ぎ目部分であっても、各分割画面の中心部を見るように両方の分割画像のオーバーラップを拡大して見ることができ、高精度パノラマカメラで撮像した 1枚のパノラマ画像と同様に、必要な部分を繋ぎ目を気にすることなく拡大表示することができる。

次に、以上のように構成されてなる信号処理及ぴ制御回路 7の作用について説明する。

連続的に回転するミラー 2により反射された景色のデジタル画像をローテーシヨン回路 1 2に導き、ミラーの各所定回転毎のデジタルカメラ画像を信号処理及び制御回路 7の画像処理部において、回転及び反転させ、かつ、手振れによる画像の乱れや歪を修正して、正立画像を得る（図 2 )。

デジタルカメラ 1の回転角度 0 ° の位相では、対象景色のデジタルカメラ画像が反転して撮像された画像が示されており、画像を画像処理部において反転処理し、歪を補正して正立した画像「 1」が得られる。ミラー 2の回転角度 2 2 . 5 ° の位相では画像が反転しかつ右に 2 2 . 5度傾いており、これを画像処理部が反転処理し、かつ、歪を補正して正立画像「2」が得られる。

ミラ一 2の回転角度 4 5 ° の位相では画像が反転しかつ更に右に 4 5度傾いており、これが画像処理部の上記手順で正立画像「 3」が得られる。

この後、順次、ミラー 2の各回転角度の位相で得られた画像 4〜 1 6力 S、画像処理部で上記手順に従って処理されることで、順次正立画像「4」〜 Γ ΐ 6」が得られる。

即ち、上記ミラー 2の連続回転中又は間欠回転中、回転角度 2 2 . 5度毎の撮像視野が画面 2 7でリアルタイムに監視し、又は一定期間経過後、 V T Rで再生していつでも監視されることができる。

図 3は、本形態例に係る監視装置の構成を示しており、本監視装置は、デジタルカメラュニット Αと V T Rプロセスュニット Bとから構成されている。

デジタルカメラユニット Aは、デジタルカメラ 1 と、ミラー 2と、ミラー俯仰角調整用モータ 3 と、ミラ一回転用モータ 4と、モータ制御回路 5 と、から構成されている。一方、 V T Rプロセスユニット Bは、デジタルカメラ画像信号 9が口一テーション回路 1 2で画像姿勢修正され、続いてディジタル · アナログ変換器 2 5でァナログ変換されて V T R 2 6に送られ、並びにデジタルカメラ画像信号がローテ —ション回路 1 2で画像姿勢を修正され、フレームメモリ 1 3 A〜 1 3 Pで記憶され、その後、ディジタル ' アナログ変換器 1 4 A〜 1 4 Pでアナ口グ変換されて画面 2 6の指定された各ポジシヨンに送られるように構成されている。

即ち、デジタルカメラユニット Aから出るデジタルカメラ画像信号 9は、 V T Rプロセスュ-ット Bにおいて画像信号処理及び制御回路 7における画像信号処理部のローテ一シヨン回路（手振れ防止回路を含む） 1 2により順次面像の姿勢やカメラゃミラーの振動による画像の乱れが修正されてミラー 2の一回転毎にそれぞれ符合 1 3 A〜 1 3 Pで示されるフレームメモリに更新記憶される。

その後、ディジタル ' アナログ変換器 1 4 A〜 l 4 Pでアナログ変換されて出力 1〜出力 1 6として V T Rプロセスュニット Bを出て、画面 2 7のミラーの回転角度に相応するポジション（符号 1〜 1 6で表されている）に順次入力される。また、 V T R出力はデジタルカメラの画像信号 9が信号処理及ぴ制御回路 7において姿勢修正された後、ディジタル · アナログ変換器 2 5を経て直接 V T R 2 6に入力される。

尚、上記図示例では、本パノラマ画像生成装置を図 3に示す監視装置に適用した場合を示したが、この発明にあってはこれに限定されるものではなく、 A T M の監視装置や人が多く出入りする場所の監視装置としても威力を発揮する。例えば、人が多く出入りする場所では、本パノラマ画像生成装置で撮像された各画像データをその場で記録保存し、この記録保存された各分割画像データを通信回線を通じて管理センタ一へと伝送し、管理センタ一では、この送信された分割画像データを、例えば、犯罪者の顔データと比較することで、当該人が多く出入りする場所の安全性を迅速に判別するように用いることも可能である。

また、上記形態例では、ミラーをチルト方向とパーン方向に回動させて画像を得る場合を例にとり説明したが、この発明にあってはこれに限定されるものではなく、ミラーをいずれか一方方向、望ましくは、ミラーのパーン方向の回動と同期させてカメラもパーン方向へと回動させるように構成することで、チルト方向の歪補正だけで画像修正処理を行うようにし、歪補正回路を簡略化して、処理を高速化するように構成するのが望ましい。この場合、ミラ一とカメラのパーン方向への同期回動に伴う静止状態から次の静止状態までの間に撮像される画像は、移動に伴うブレゃ歪が多いため、この間の画像は消去処理することで、記憶容量を小さく抑えることができ、また、画像処理も簡略化されるため、装置を小型化し、より安価に提供することができる。

さらに、この発明にあっては、連続する分割画像或はパノラマ画像の視差量を利用して立体画像を得ることもできる。また、一対のミラ一と一対のカメラを離れた場所に夫々設置し、これらのミラーとカメラを同期作動させて得られる画像の視差量に基づいても立体画像を得ることができる。この視差量を利用した立体画像の生成方法は、例えば、本出願人及び発明者が先に提案した P C T / J P 0 2 / 1 2 4 4 3と同様であるので、その詳細な説明をここでは省略する。

産業上の利用可能性

以上説明したように、この発明に係るパノラマ画像生成方法及びその装置によれば、単一のデジタルカメラで全周 3 6 0度の視野を高速で監視、撮像することができ、これを略リアルタイムで画像上で観察し、或は、 V T Rで記録保存することができる。この場合、デジタルカメラは回転せずに、ミラ一が回転する構成であるため、デジタルカメラに接続されたケーブルゃコード類は移動等しないので、ケーブル等が断線等の故障が生じない。

また、上記ミラーをチルト方向とパーン方向に回動させて画像を得る場合、両方向に対する歪補正が必要となり、歪修正回路が複雑化するため、いずれか一方方向、望ましくは、ミラーのパーン方向の回動と同期させてカメラもパーン方向へと回動させた場合には、チルト方向の歪を捕正するだけでよいため、歪捕正回路を簡略化することができ、処理を高速化することができる。この場合、ミラーとカメラのパーン方向への同期回動に伴う静止状態から次の静止状態までの間に撮像される画像は、移動に伴うプレゃ歪が多いため、この間の画像は消去処理することで、記憶容量を小さく抑えることができ、また、画像処理も簡略化されるため、装置を小型化しより安価に提供することができる。また、ミラーの回転角度情報に基づいて、傾倒した撮像画像の画像データを正立画像の画像データに修正処理する画像処理部を装備し、かつ、デジタルカメラで撮像した画像の場合、これを手振れ防止手段で画像のブレをなくするように構成したので、安価なデジタルカメラで撮像した画像であっても、歪なく正確で鮮明な画像を容易に得ることができる。

さらに、ミラーの回転角度を G P Sとリンクさせることで、実写画像に地図情報をォ一バーラップさせることができ、例えば、変化が生じた部分の緯度を正確に把握することが可能となる。

加えて、この発明にあっては、制御手段に、撮像した分割画像数と同数の画像データを記憶すると共に、ミラーの 1順回転毎に画像データを更新記憶する記憶部を備えて構成したので、画像を更新日時とともに記録保存することができ、保存されている分割画像と更新される分割画像とを比較し、異なる部分がある場合には、この異なる部分を異なる色彩で表示し、或は、警告音で注意力を喚起させることができるので、長時間、同じ画像を見て監視する必要がなく、容易に景色の変化を知得することができると共に、このような変化が生じた場合には、該更新分割画像を拡大表示させることで、変化の原因を容易に分析することができる。また、画像の保存も、変化がある分割画像或は変化があった分割画像を含むパノラマ画像だけを保存することで、メモリー容量を少なくすることができ、長時間の記憶保存が可能となる。

さらに、変化があった部分を自動的に追尾することで、経験ゃ感に頼ることなく、目標物を見失わずに追尾できるので、分析が容易となる。

また、この発明にあっては、各分割画像と隣接する分割画像の縁部をオーバーラップさせて画像のマッチング処理を施すため、高精度ワイドカメラで撮像したパノラマ画像と同様の繋ぎ目のない高精度のパノラマ画像を容易に得ることができる。

さらに、この発明にあっては、連続する分割画像或はパノラマ画像の視差を利用して立体画像を生成することができるので、距離感を容易に把握でき、実際の風景を見るような感覚で監視などを行うことができるので、疲れにくく、監視作業が容易となる。このように構成されたパノラマ画像生成方法及びその装置は、監視対象場所の周辺部を監視するシステムに用いることで、複数台のカメラとモニターとを多くの配線で接続して配置しなければならない従来の監視システムと比較して、非常に簡略で安価なシステムとすることができ、しかも、その精度は、上記従来の監視システムと比較して、より高精度のセキュリティ性を得ることができる。勿論、この発明の監視装置は防犯用のみならず、動物等をあらゆる動体の監視用としても好適である。

Claims

請求の範囲

1 . 単一カメラの撮像面に対向する位置に、チルト回動及び/又はパーン回動可能に構成されてなるミラーを傾斜させて配置し、該ミラーの回転角に応じて得られた分割画像を蓄積して、各分割画像を画像表示装置の一画面上に繋ぎ合わせてパノラマ画像を生成する方法において、

上記各分割画像は、ミラーの回転角に応じた撮像位置に対する補正係数により歪が補正されて表示されることを特徴とするパノラマ画像生成方法。

2 . 前記分割画像は、一画面上に繋ぎ合わせて表示した後、前記ミラーが同じ手順でチルト回動及びノ又はパ一ン回動して同一位置の分割画像を順次更新することを特徴とする請求の範囲 1に記載のパノラマ画像生成方法。

3 . 請求の範囲 2に記載のパノラマ画像生成方法において、表示されている夯割画像と更新される分割面像とを比較し、異なる部分がある場合には、この異なる部分を異なる色彩で表示し、或は、警告音を発することを特徴とするパノラマ画像生成方法。 .

4 .前記表示されている分割画像と更新される分割画像に異なる部分がある場合、この異なる更新分割画像を画像表示装置の一画面上に拡大表示することを特徴とする請求の範囲 3に記載のパノラマ画像生成方法。

5 . 前記異なる部分がある更新分割画像が表示された場合には、当該更新分割画像中の変化部分及び/又は当該更新分割画像に隣接する面像を自動追尾して表示することを特徴とする請求の範囲 3又は請求の範囲 4のいずれかに記載のパノラマ画像生成方法。

6 . 前記異なる部分がある更新分割画像のみ、或は当該更新分割画像を含むパノラマ画像のみを記録保存することを特徴とする請求の範囲 2乃至請求の範囲 5のいずれかに記載のパノラマ画像生成方法。

7 . 前記記録保存は、時間を同時に当該画面上に記録保存することを特徴とする請求の範囲 6に記載のパノラマ画像生成方法。

8 . 前記各分割画像と隣接する分割画像の縁部をオーバーラップさせて画像のマツチング処理を施すことを特徴とする請求の範囲 1乃至請求の範囲 7のいずれかに記載のパノラマ画像生成方法。

9 . 前記ミラーの回転角を G P S とリンクさせ、得られた分割画像又はノ及ぴパノラマ画像上に地図情報をオーバーラップさせて表示することを特徴とする請求の範囲 1乃至請求の範囲 8のいずれかに記載のパノラマ画像生成方法。

1 0 . 前記各分割画像と隣接する分割画像のオーバーラップ部分を拡大表示可能としたことを特徴とする請求の範囲 1乃至請求の範囲 9のいずれかに記載のパノラマ画像生成方法。

1 1 . 前記カメラは、手振れ防止手段により画像の乱れを補正することを特徴とする請求の範囲 1乃至請求の範囲 1 0のいずれかに記載のパノラマ画像生成方法。

1 2 . 前記分割画像或はパノラマ画像の連続する 2つの画面の視差を利用して立体画像を得ることを特徴とする請求の範囲 1乃至請求の範囲 1 1のいずれかに記載のパノラマ画像生成方法。

1 3 . 前記ミラ一とカメラとを一定距離離間させて一対づっ配置し、これら各ミラーとカメラとを同期作動させて得られた画像の視差を利用して立体画像を得ることを特徴とする請求の範囲 1乃至請求の範囲 1 2のいずれかに記載のパノラマ画像生成方法。

1 4 . —のカメラと、このカメラの撮像面に対向する位置に傾斜して配設されたミラーと、該ミラーをチルト方向及び又はパーン方向に回動制御する駆動手段と、該駆動手段により設定された傾斜角度に対応する分割画像を保存する手段と、この分割画像を画像表示装置の一画面上の所定位置に順次表示する手段と、上記各分割画像の歪をミラーの回転各に応じた撮像位置に対する捕正係数により補正する制御手段と、を備えて構成されてなるパノラマ画像生成装置。

1 5 . 前記一のカメラは、デジタルカメラであることを特徴とする請求の範囲 1 4に記載のパノラマ画像生成装置。

1 6 . 前記デジタルカメラで撮像される画像は、手振れ防止手段による画像の乱れを捕正することを特徴とする請求の範囲 1 5に記載のパノラマ画像生成方法。

1 7 . 前記ミラーをチルト方向及び/又はバーン方向に駆動するモータは、超音波モータであることを特徴とする請求の範囲 1 4又は請求の範囲 1 6のいずれかに記載のパノラマ画像生成装置。

1 8 . 前記制御手段には、ミラーの回転角度情報に基づいて、傾倒した撮像画像の画像データを正立画像の画像データに修正処理する画像処理部を備えて構成されていることを特徴とする請求の範囲 1 4乃至請求の範囲 1 7のいずれかに記載のパノラマ画像生成装置。

1 9 . 前記制御手段は、前記ミラ一の回転角情報と G P Sから得られる情報とをリンクさせ、得られた分割画像又は/及びパノラマ画像上に G P S情報に基づく地図情報をオーバーラップさせて表示することを特徴とする請求の範囲 1 4乃至請求の範囲 1 8のいずれかに記載のパノラマ画像生成装置。

2 0 . 前記制御手段は、各分割画像と隣接する分割画像のオーバーラップ部分を拡大表示させることを特徴とする請求の範囲 1 4乃至請求の範囲 1 9のいずれかに記載のパノラマ画像生成装置。

2 1 . 前記制御手段には、撮像した分割画像数と同数の画像データ或は構築されたパノラマ画像情報を記憶すると共に、ミラーの 1順回転毎に画像データを更新記憶する記憶部が備えられていることを特徴とする請求の範囲 1 4乃至請求の範囲 2 0のいずれかに記載のパノラマ画像生成装置。

2 2 . 前記制御手段は、前記異なる部分の分割画像のみを、或は、異なる部分の分割画像を含むパノラマ画像のみを記憶保存することを特徴とする請求の範囲 2 1に記載のパノラマ画像生成装置。

2 3 . 前記記憶保存される画像は、時間情報と共に記憶保存されることを特徴とする請求の範囲 2 1又は請求の範囲 2 2のいずれかに記載のパノラマ画像生成装置。

2 4 . 前記制御手段は、記憶保存されている分割画像と更新される分割画像とを比較し、異なる部分がある場合には、この異なる部分を異なる色彩で表示し、或は、警告音で注意力を喚起させる手段を有して構成されていることを特徴とする請求の範囲 1 4乃至請求の範囲 2 3のいずれかに記載のパノラマ画像生成装置。

2 5 . 前記制御手段は、更新される分割画像が記憶保存されている同一撮影位置における分割画像と異なる場合に、該更新分割画像を拡大表示することを特徴とする請求の範囲 1 4乃至請求の範囲 2 4のいずれかに記載のパノラマ画像生成装

2 6 . 前記制御手段は、異なる部分がある更新分割画像が表示された場合には、当該更新分割画像中の変化部分及び/又は当該更新分割画像に隣接する画像を自動追尾して表示する手段を有して構成されていることを特徴とする請求の範囲 1 4又は請求の範囲 2 5のいずれかに記載のパノラマ画像生成装置。

2 7 . 前記制御手段は、各分割画像と隣接する分割画像の緣部をオーバーラップさせて画像のマッチング処理を施す手段を備えて構成されていることを特徴とする請求の範囲 1' 4乃至請求の範囲 2 6のいずれかに記載のパノラマ画像生成装置 _c 2 8 . 前記制御手段は、前記分割画像或はパノラマ画像の連続する 2つの画面の視差を利用して立体画像を生成することを特徴とする請求の範囲 1 4乃至請求の範囲 2 7のいずれかに記載のパノラマ画像生成装置。

2 9 . 前記ミラーとカメラとを一定距離離間させて一対づっ配置し、前記制御手段は、これら各ミラーとカメラとを同期作動させて得られた画像の視差を利用して立体画像を生成することを特徴とする請求の範囲 1 4乃至請求の範囲 2 7のいずれかに記載のパノラマ画像生成装置。

3 0 . 請求の範囲 1乃至請求の範囲 2 9のいずれかに記載のパノラマ画像生成方法又はパノラマ画像生成装置を用いて監視対象場所の周辺部を監視することを特徴とする監視システム。