JP2010507846A - 空間容積の監視方法および監視装置、ならびに較正方法 - Google Patents
空間容積の監視方法および監視装置、ならびに較正方法 Download PDFInfo
- Publication number
- JP2010507846A JP2010507846A JP2009533653A JP2009533653A JP2010507846A JP 2010507846 A JP2010507846 A JP 2010507846A JP 2009533653 A JP2009533653 A JP 2009533653A JP 2009533653 A JP2009533653 A JP 2009533653A JP 2010507846 A JP2010507846 A JP 2010507846A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- spatial
- volume
- monitored
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Abstract
ロック通路で人物個別化を保証するためには、カメラペアによって3次元画像を作成し、これにより一人以上の人物が同時にロック通路を通過しないように検査することが通常である。本発明の課題は、公知のシステムを改善し、促進することである。このために本発明によれば、複数の空間方向から同時に被監視空間容積を監視する複数のカメラペアが使用される。各カメラペアにより被監視空間容積が監視され、レベルプロフィールが決定され、このレベルプロフィールにおいて影になる点が他のカメラペアのデータによって補完される。
Description
本発明は、複数のカメラを有する空間容積の監視方法および監視装置に関する。ここでカメラは、被監視空間容積に対して、それぞれ1つのカメラペアのカメラ画像を重畳することにより3次元空間画像が作成されるようにペア毎に配置されている。
相応の方法はすでにUS 2005/0249382 A1から公知である。前記の米国特許は、外扉と内扉を有するロック通路に関するものである。2つの扉の領域には、それぞれのロック通路内に監視すべき領域が設けられており、各領域は1つのカメラペアによって監視される。前記各カメラペアは、これにより監視すべき領域を視野内に有し、監視すべき領域により3次元モデルが計算されるように構成されている。ロック通路を通る通路を監視するために、外扉の前の監視領域に人が存在するか否かがまず検査される。存在する場合には直ちに、内扉の前の監視領域に人が存在するか否かも同時に検査される。したがって入場モードでは、人が監視領域に存在しない場合にだけ外扉の開放が許可され、保安すべき領域に通じる内扉は、監視領域に一人が存在する場合だけ開放が許可される。
カメラペアによって、監視領域のそれぞれ2つの2次元画像が作成され、これらの画像によってこの領域に存在する要素が、3次元空間点の決定によって検出される。このようにして決定された3次元要素を前もって記憶されたモデルと比較することによって、人が監視領域に存在するか否かが続いて決定される。
前記の方法は、2つの別個の領域を3次元画像検出システムによって監視することに基づくものであり、このようにして実現されたロック通路の扉を相応の情報に基づいて制御することができる。この方法はとりわけ、ロック通路の保安側に、一人の人物に対して開放された後、後から同時に複数の人物が侵入するのを回避するためのものである。第1の人物の背中に付いて侵入する第2の人物が、各領域の3次元画像の作成に基づいて前もって識別される。このために、それぞれのカメラペアはロック通路の扉の上方領域に配置されており、第1の人物の後方に立つ第2の人物をカメラペアにより同時に検出することができる。
しかしこの有利な構成にもかかわらず、第1の人物の影領域には、それぞれのカメラペアによって見通すことのできない空間点が相変わらず存在する。しかしこの領域には、有利には監視によって検出すべきエレメントが同様に存在し得る。
加えて、カメラペアの複数の2次元画像を重畳することにより3次元モデルを計算することは、そのために設けられた計算ハードウエアに大きな負荷を課す。そしてこの計算ハードウエアは、このように実現されるロック通路の製造に関連して格別のコスト要因となる。
これらを背景に本発明の基礎とする課題は、空間の監視がさらに改善され、結果が改善されるにもかかわらず技術的には簡素化された、空間容積の監視方法および監視装置、ならびに使用されるカメラペアの較正方法を提供することである。
この課題は、独立請求項の特徴を備える空間容積の監視装置、請求項17の特徴を備える空間容積の監視方法、ならびに請求項10の特徴を備えるカメラペアの較正方法によって解決される。本発明の装置および方法のさらなる実施形態はそれぞれの従属請求項に記載されている。
本発明によれば監視すべき空間容積の上方に少なくとも2つのカメラペアが配置されており、それらの視野は監視すべき空間領域を少なくとも十分に覆っている。ここでは少なくとも2つのカメラペアを相互に対向して配置することができ、これにより監視すべき空間領域を対象物の取付け後にも、ないしは人物の入場後にも見通すことができ、これと結び付いた視野の影も十分に見通すことができる。相応にして、3つまたは4つのカメラペアを空間領域の監視のために配置することができる。この場合、これらのカメラペアをできるだけ均等に分散するのが有利である。各カメラは個別のカメラ画像を送出する。それぞれ1つのカメラペアの2つの画像は1つの立体画像に組み合わせることができ、1つの3次元空間画像が得られる。この各3次元空間画像に基づいて、監視すべき空間領域のレベルプロフィールを作成することができる。射影により画像で識別することのできない点は、他のカメラペアの視野にある点により補完することができる。種々異なる空間画像のこの重畳に基づいて、監視領域の十分に完全なレベルプロフィールが得られ、このレベルプロフィールはモデルライブラリからのモデルと比較される。作成されたレベルプロフィールにモデルを適合することができれば、続いて、プロフィールの残りの領域に別のモデルを適合することが試みられる。レベルプロフィールが十分に完全に満たされて初めて、識別は終了される。次に使用されるモデルに基づいて、何人の人物がおよび/またはいくつの対象物が監視領域に存在するかを推定することができる。
カメラペアは有利には監視すべき空間容積の上方に、または少なくともその上方領域に配置される。したがって被監視空間領域に存在する対象物がカメラペアから可能限りに大きな間隔を取る。とりわけ高みの位置からは、被監視空間領域が十分に含まれる適切な視野角を取ることができる。
被監視空間容積は、少なくとも片側をゲートまたは壁により空間的に制限することができる。これにより被監視空間領域に存在する対象物の位置決めが簡単になる。前記対象物の位置が完全に任意に選択可能であれば、格段に大きな領域を監視しなければならないこととなる。相応のマーキングにより、例えば床にマークを付することにより、被監視領域を簡単に制限することができる。
このような制限は有利には、それぞれ片側のカメラの視野境界と少なくとも十分に一致する。このことは反対に、カメラの視野は少なくとも片側では、非監視空間の境界で終端することを意味する。これによって、カメラが処理しなければならない冗長的情報、例えば空間領域の壁に関する情報、または監視すべき領域の外にある対象物に関する情報が少なくなる。同様に、カメラペアに対向する空間制限部が少なくとも片側で、所定の頭高の上方で視野限界によって切断されると有利である。このことにより、非監視空間領域に進入する同じ大きさの人物を、彼ら(彼女ら)が不利なことに領域の外側限界の1つに直接立っていてもカメラによって検出することができる。
この装置の有利な改善形態では、個々のカメラの視線がそれぞれ少なくとも1つのミラー装置によって、カメラペアが間接的な配向であっても前に説明した視野を有するように偏向される。相応にしてこのようなミラー装置により、カメラを少なくとも近似的に水平に、非監視空間容積の上方で配置することができる。これによりとくに偏平な構造形状が達成される。カメラの長手軸はこれにより十分に水平に延在する。一方、この長手軸は対象物に対して直接的に配向する場合には、十分に垂直に取り付けなければならないこととなる。
前記の装置に計算ハードウエアおよび/または計算ソフトウエアを配属すると有利である。これらによってカメラデータのデジタル化を行うことができる。このデジタル化されたデータに基づいて、後から3次元空間画像を計算することができ、それに基づいてレベルプロフィールを決定することができる。
有利には前記構成をロック通路に次のように配設する。すなわち、ロック通路内に存在する人物および/または対象物をカメラデータによって検出可能かつ識別可能であるように配設する。作成されたレベルプロフィールを、モデルライブラリからのモデルと比較することによって、一人または複数の人物が同時にパーソナルロック通路を通過したか否かを決定することができる。これにより所要の人物個別化を本発明の装置により支援することができる。
空間容積の監視に使用されるそれぞれのカメラペアを較正するために、本発明ではまず、内部マッピングパラメータの試験較正が行われる。この方法は内部マッピングパラメータとして、チャンバ定数と半径方向のレンズ歪みが必要なだけである。この試験較正はまず個々のカメラに施され、個々のカメラは較正後に対でカメラペアに統合される。現場で、すなわちカメラペアを非監視空間領域に取り付けた後、カメラペアの外配向を較正するためにまず各カメラに対してホモグラフィが決定される。このホモグラフィは、カメラにより記録された画素の基準面上へのマッピングである。基準面は、非監視空間内に適切に選択される。このステップは、第1の基準面に有利には平行の第2の基準面に対して相応に実行される。最後の較正ステップとして、各カメラペアに対してエピポーラ幾何を作成する。このエピポーラ幾何によってカメラによって検出された各空間点にレベル値を割り当てることができる。
この較正の枠内で、較正すべきカメラは較正体、有利には正方形格子を基準にして、この正方形格子がそれぞれのカメラの前方で面状に配置されるように設置される。この較正体によって正または負の歪みが検出される。半径方向歪みの中心はレンツのモデルに基づいて検出される。チャンバ定数を検出するために正方形格子が、半径方向歪みに関してすでに補正されたカメラの前方に所定の間隔で設置される。次に光の法則によりチャンバ定数cが次のように計算される。
rδ/R=−c/D
ここでRは格子中心点からの格子点の距離、rはカメラ画像中心点からの相応するカメラ画素の距離、δは2つのカメラ画素の物理的間隔、そしてDはカメラの光学的センタから較正体までの距離である。
rδ/R=−c/D
ここでRは格子中心点からの格子点の距離、rはカメラ画像中心点からの相応するカメラ画素の距離、δは2つのカメラ画素の物理的間隔、そしてDはカメラの光学的センタから較正体までの距離である。
次のステップでカメラペアが現場に配置され、再び予備較正される。この第1の現場較正はまず基準面と、この基準面に対して有利には平行の補助面の導入を必要とする。基準面は有利には相互に直角のマーキングの配置構成によって決定される。これらマーキングの空間内における位置は既知である。カメラ画像を基準面上での真の配置構成と比較することによって、基準面をそれぞれのカメラへマッピングするためのマッピング規則、いわゆるホモグラフィが決定される。このようなホモグラフィは、各カメラペアの両方のカメラに対して求められる。このようにして得られたホモグラフィのパラメータ値は、それぞれ目下のカメラ画像の評価サイクルで使用するために記憶される。
最後に各カメラペアに対して付加的にエピポーラ幾何が設定される。このエピポーラ幾何は、それぞれのカメラ画像を基準面にワーピングすることにより可能となる。任意の空間点に注目すると、この空間点を基準にして各カメラは基準面の直線上にある。この直線はエピポーラ線と呼ばれ、類似尺度として正規化された相互相関関数を用いて、エピポーラ線に沿って2つの画像の相同点の座標が決定される。
有利には基準面として監視すべき空間容積の床面が定義される。
較正されたカメラペアは、空間容積を監視するための本発明の方法に使用される。被監視空間容積の領域にはこのような複数のカメラペアが、被監視空間容積が異なるカメラにより異なる空間方向から注目されるように配置される。各カメラペアの3次元空間画像は共通に、射影のため表示できない空間点がそれぞれ別のカメラペアの空間画像によって補完されるように評価される。
それぞれのビデオデータを取り扱うために、個々のカメラから発したビデオデータ流がデジタル化され、相応の計算ハードウエアおよび/または計算ソフトウエアに供給される。
個々のカメラのカメラ画像は、較正データに基づいて補正され、このようにして補正されたカメラ画像がさらなる計算の基礎となる。ここでさらなる計算とは、それぞれのカメラペアの視野の3次元空間画像を作成し、その後、各空間点に対してレベル値を計算し、このようにして被監視空間のレベルプロフィールを決定することである。
レベルプロフィールは有利には基準面に関連する。個々の空間点はホモグラフィと空間内の直接区間によって計算される。前記のレベルプロフィールを迅速に計算するために、カメラペアの両画像を基準面にホモグラフィマッピングすることによりエピポーラ幾何が、両画像間に作成される。これによりホモローグな画素、すなわち同じ空間点に所属する画素がカメラ画像の同じエピポーラ線上となる。次にレベル値が、同じ空間点の2つの直線の交点によって決定される。この2つの直線は、補助面を通る視線の貫通点から得られる。2つのホモグラフィのそれぞれ一方によって、すなわちそれぞれ1つのカメラ画像と補助面との間のホモグラフィによって、発見されたホモローグ点が補助面上に投影される。視線はそれぞれ1つのカメラ画素と、相応する点とを補助面上で貫通する。カメラ画像のこの2つの視線の交点が求める空間点に相応する。
すべてのマッピングエラーないしは数値エラーをホモグラフィの検出の際に考慮することが場合によってはできないから、実際には視線が共通の交点を有しないようになる。むしろカメラペアの2つの視線は相互にねじれて空間内に存在する。そのため求める空間点の空間位置の推定が必要となる。このために2つの視線の間隔が決定され、2つの視線間の間隔の中点が求める点であると推測される。
このようにして求められた個々の空間点のレベル値からなるレベルプロフィールを検出した後、このレベルプロフィールはモデルライブラリに記憶されている標準モデルと比較される。この標準モデルはレベルプロフィールにはめ込まれ、レベルプロフィールが所定のモデルの少なくとも1つに相応するか否かが検査される。相応する場合には、このモデルに相応する対象物が識別されたと見なされる。この方法の有利な改善形態では続いて、さらなる標準モデルをレベルプロフィールの残りの空間にはめ込むことができるか否かが検査される。人物個別化のためのロック通路としての具体的適用では、1つ以上の対象物を識別した場合には警報が発せられるか、ないしはロック通路がロックされるように拡張される。
本発明を以下、図面に示された実施例に基づき詳細に説明する。
図1は、監視すべき空間容積10を示し、この空間容積は2つのカメラペア11,11′により監視される。それぞれのカメラペア11,11′の、画像中に順次並ぶ2つのカメラは次のように傾斜している。すなわち、カメラペア11,11′のもっとも外側の視線20が、それぞれ近い方の壁13の領域で少なくとも十分にこの壁と平行であるか、またはこの壁に沿って延在し、それぞれ対向する壁13の領域ではこの壁13と、監視すべき空間容積10に存在する人物12の頭の高さよりも高い位置で交差するように傾斜している。カメラペア11,11′を相互に対向するように配置することによって、人物12により影となる領域に別の対象物ないしは別の人物12が存在し得ないことが保証される。このような別の対象物ないしは別の人物12が存在すれば、これが第2のカメラペア11,11′により検出される。この第2のカメラペア11,11′は監視すべき空間容積10を別の視野から注視する。
被監視空間容積10の領域に配置された各カメラペア11,11′は3次元空間画像を形成する。この3次元空間画像によって、被監視空間容積10のレベルプロフィールを決定することができる。空間容積10の空間点がカ一方のメラペア11,11′により検出できない場合、この見ることができない空間点に対しては、別のカメラペア11,11′により形成された3次元空間画像が用いられる。このようにして補完された被監視空間容積10のレベルプロフィールは続いて標準モデルと比較される。この標準モデルはモデルライブラリに格納されている。標準モデルは、どの対象物が被監視空間容積10内に存在するか決定できるまでレベルプロフィールに挿入される。
図2には、被監視空間容積10の類似の構造が示されている。ここでは被監視空間容積10の上方に水平に取り付けられたカメラペア11,11′の光路にそれぞれ1つのミラー構成体14,14′が設けられている。これにより、カメラペア11,11′の視野にはそれぞれ同じ対象物、すなわち同じ人物12が存在するが、この構成の全体高さは、図1のカメラペア11,11′の配置構成と比較して低減されている。このような構造形状はとりわけ、スペースを節約して、低い構造高さで構成しなければならないロック通路に適する。ロック通路で人物を個別化するために使用するのにも適する。すなわち、3次元空間画像を、別の空間方向からの同様の第2の空間画像により補完するのにも適する。なぜならこのようにして、複数の人物が背中に付いて忍び込むのが阻止されるからである。このようなロック通路に複数の人物12が存在すると直ちに、このことがカメラペア11,11′により識別され、処理ソフトウエアないしは処理ハードウエアによって相応に応答される。
図3は、カメラペア11,11′の個々のカメラによりカバーされる視野を、被監視空間容積10の床15に投影した様子を示す。カメラペア11,11′の使用される各個々のカメラが空間容積10の領域を十分に完全にカバーしていることが明白である。これによって各空間点が、場合により影になってカメラの1つにより検出できなくても、高い確率で少なくとも1つの別のカメラにより監視されることが保証される。
図4は、カメラペア11,11′の個々のカメラを較正するための正方形格子を示す。カメラの較正はこの正方形格子に基づきラボラトリーで行われる。正方形格子は、較正すべきカメラの前方に垂直に設置される。これにより正方形格子の中心がカメラ画像の画像中央に来るようになる。続いて種々のカメラパラメータが、とりわけ主点、半径方向歪み、およびチャンバ定数が決定される。図4には、較正前の正方形格子の2つの可能な見え方が示されている。すなわち左の画像の円形歪みと、右の画像のたる形歪みである。個々のカメラの較正によって、個々のカメラの歪みは、正方形格子がエラー補正後に正方形になるよう、すなわち直線により解釈できるように補償される。
図5は、すでに現場に取り付けられており、その所定の位置で同様にさらなる較正ステップを実行しなければならないカメラペア11,11′の1つのカメラの配置を示す。まずそのために基準面30、例えば床面15が導入される。この基準面30に後のレベルプロフィールレベル点が関連付けられる。較正に続いて、まずそれぞれのカメラ画像34,34′と基準面との間のホモグラフィ32,32′がそれぞれ1つ次のようにして決定される。すなわち基準面30上の所定位置にマーキング22が配置され、実際とカメラ画像34,34′とを比較することにより決定される。このようにして計算されたホモグラフィ32,32′は、後の評価サイクルのために記憶される。さらなる較正ステップで、エピポーラ幾何が導入される。このエピポーラ幾何は次のように基準面に置かれる。すなわちホモローグ点、つまりカメラペア11,11′のカメラ画像34,34′上で相互に対応する点が、エピポーラ幾何系のエピポーラ線に来るように基準面に置かれる。それぞれのホモローグ点の座標を決定するために、相互相関関数が類似性尺度として使用される
最後に図6は、レベルプロフィールがどのように評価され、作成されるかを詳細に示す。カメラペア11,11′の2つのカメラにより検出された空間点が選び出される。この空間点は、2つのカメラに対して共通のエピポーラ線36上にある点である。選び出された空間点は、2つのカメラに対して1つの視線35,35′上にある。この視線は、カメラ画像34,34′の画素とカメラ画像のホモグラフィ33,33′を通って、基準面30に対して平行な補助面31を突き抜ける。2つの視線35,35′の交点には、求める空間点が存在する。床15ないしはそこに配置された基準面30を基準にした、求める空間点の高さ位置は、後で幾何学的に計算することができる。相応の手段により、カメラにより検出されたすべての画素に対してレベルプロフィールが得られる。このレベルプロフィールは、監視すべき空間容積10内に含まれる対象物をシミュレートする。
最後に図6は、レベルプロフィールがどのように評価され、作成されるかを詳細に示す。カメラペア11,11′の2つのカメラにより検出された空間点が選び出される。この空間点は、2つのカメラに対して共通のエピポーラ線36上にある点である。選び出された空間点は、2つのカメラに対して1つの視線35,35′上にある。この視線は、カメラ画像34,34′の画素とカメラ画像のホモグラフィ33,33′を通って、基準面30に対して平行な補助面31を突き抜ける。2つの視線35,35′の交点には、求める空間点が存在する。床15ないしはそこに配置された基準面30を基準にした、求める空間点の高さ位置は、後で幾何学的に計算することができる。相応の手段により、カメラにより検出されたすべての画素に対してレベルプロフィールが得られる。このレベルプロフィールは、監視すべき空間容積10内に含まれる対象物をシミュレートする。
したがって空間容積を監視するための前記方法ならびに装置、およびそのために設けられたカメラペアを較正する方法は、空間容積の完全な監視が保証されるという利点を有し、同時に3次元情報を簡単な手段により獲得することができる。
10 空間容積
11,11′ カメラペア
12 人物
13 壁
14,14′ ミラー構成体
15 床面
20 視線
21 視野
22 マーキング
30 基準面
31 補助面
32,32′ カメラ画像と基準面との間のホモグラフィ
33,33′ カメラ画像と補助面との間のホモグラフィ
34,34′ カメラ画像
35,35′ 視線
36,36′ エピポーラ線
40 正の歪み
41 負の歪み
11,11′ カメラペア
12 人物
13 壁
14,14′ ミラー構成体
15 床面
20 視線
21 視野
22 マーキング
30 基準面
31 補助面
32,32′ カメラ画像と基準面との間のホモグラフィ
33,33′ カメラ画像と補助面との間のホモグラフィ
34,34′ カメラ画像
35,35′ 視線
36,36′ エピポーラ線
40 正の歪み
41 負の歪み
Claims (25)
- 複数のカメラペアを含む空間容積(10)の監視装置であって、
前記カメラは、被監視空間容積(10)に対して、それぞれ1つのカメラペア(11,11′)のカメラ画像(34,34′)を重畳することにより3次元空間画像が作成されるようにペア毎に配置されている形式の装置において、
少なくとも2つのカメラペア(11,11′)が共通の1つの空間容積(10)を、異なる空間方向から同じ空間容積(10)の少なくとも2つの3次元空間画像が作成されるようにカバーする、ことを特徴とする装置。 - 請求項1記載の装置において、
カメラ(11,11′)は、被監視空間容積(10)の上方、または上方領域にペアで配置されている、ことを特徴とする装置。 - 請求項1または2記載の装置において、
前記被監視空間容積(10)は少なくとも片側で少なくとも1つの壁(13)および/または少なくとも1つの隔離部により空間的に画定または閉鎖されている、ことを特徴とする装置。 - 請求項1から3までのいずれか一項記載の装置において、
前記カメラの視野(21)は、当該視野(21)の境界が少なくとも片側で被監視空間容積(10)の境界に少なくとも十分に平行に延在するように配向されている、ことを特徴とする装置。 - 請求項1から4までのいずれか一項記載の装置において、
前記カメラの視野(21)は、当該視野(21)の境界が少なくとも片側でカメラペア(11,11′)に対向する空間境界と、所定の頭の高さより上で交差するように配向されている、ことを特徴とする装置。 - 請求項1から5までのいずれか一項記載の装置において、
少なくとも1つのカメラの視野にはミラー構成体(14,14′)が配置されている、ことを特徴とする装置。 - 請求項6記載の装置において、
前記カメラは少なくとも近似的に水平に前記被監視空間容積(10)の上方に配置されており、
前記カメラの長手軸は、前記被監視空間容積(10)の床面に対して少なくとも十分に平行に配向されている、ことを特徴とする装置。 - 請求項1から7までのいずれか一項記載の装置において、
前記カメラには計算ハードウエアおよび/または計算ソフトウエアが配属されており、
該計算ハードウエアおよび/または計算ソフトウエアは、カメラデータをデジタル化し、ならびに基準面(30)を基準にする被監視空間容積(10)のレベルプロフィールを、前記カメラデータに基づいて作成する、ことを特徴とする装置。 - 請求項1から8までのいずれか一項記載の装置において、
人物個別化装置は、ロック通路内に存在する人物(12および/または対象物がカメラによって検出可能であるように配属されている、ことを特徴とする装置。 - 空間容積(10)を監視するためのカメラペアの較正方法であって、
個々のカメラをラボラトリー較正するステップと、
各カメラに対して基準面のホモグラフィを決定するステップと、
各カメラペア(11,11′)に対してエピポーラ幾何を作成するステップと、
を有することを特徴とする較正方法。 - 請求項10記載の方法において、
前記ラボラトリー較正の枠内で、少なくとも1つのチャンバ定数、主点、ならびに各カメラの半径方向レンズ歪みを、それぞれのカメラに対して垂直に配置された、構成体としての正方形格子によって決定する、ことを特徴とする方法。 - 請求項11記載の方法において、
前記カメラのパラメータは、レンツのモデルにしたがい検出される、ことを特徴とする方法。 - 請求項10から12までのいずれか一項記載の方法において、
少なくとも2つのホモグラフィを決定するために、基準面(30)ならびに該基準面に対して有利には平行な補助面(31)を空間内に設定し、
それぞれ1つの平面点のレベル値が、カメラペア(11,11′)の2つのカメラの、それぞれの点を突き抜ける視線(35,35′)の直線部分により設定される、ことを特徴とする方法。 - 請求項10から13までのいずれか一項記載の方法において、
エピポーラ幾何が作成され、このときカメラペア(11,11′)のカメラ画像は基準面(30)にワーピングされる、ことを特徴とする方法。 - 請求項14記載の方法において、
カメラペア(11,11′)の相応するカメラ画像(34,34′)のホモローグ点が、類似性尺度としての正規化された相互相関関数によって決定される、ことを特徴とする方法。 - 請求項10から15までのいずれか一項記載の方法において、
前記被監視空間容積(10)の床面(15)は基準面(30)として選択される、ことを特徴とする方法。 - 複数のカメラペア(11,11′)によって空間容積の監視する方法であって、
前記複数のカメラペアは前記空間容積を異なる空間方向から注視し、前記カメラペアのカメラ画像(34,34′)からそれぞれ1つの3次元空間画像が作成され、
それぞれの空間画像において射影によって表示できない空間点を、別のカメラペア(11,11′)の空間画像によって補完する、ことを特徴とする方法。 - 請求項17記載の方法において、
個々のカメラおよび/またはカメラペア(11,11′)から発生するビデオデータ流をデジタル化する、ことを特徴とする方法。 - 請求項17または18記載の方法において、
個々のカメラのカメラ画像(34,34′)は、較正値に基づいて補正される、ことを特徴とする方法。 - 請求項17から19までのいずれか一項記載の方法において、
複数のカメラペア(11,11′)に対して、それぞれのカメラペア(11,11′)により見通すことのできる空間領域の3次元空間画像がそれぞれ作成される、ことを特徴とする方法。 - 請求項20記載の方法において、
複数のカメラペア(11,11′)の空間画像に基づいて、被監視空間容積(10)の完全なレベルプロフィールが決定され、
種々異なるカメラペア(11,11′)のデータが1つの空間画像に統合される、ことを特徴とする方法。 - 請求項21記載の方法において、
前記レベルプロフィールは前記基準面(30)に関連しており、
前記空間点は、空間内のホモグラフィ(32,32′、33,33′)と直線部分によって計算される、ことを特徴とする方法。 - 請求項21または22記載の方法において、
個々の空間点の位置は、それぞれの空間点への2つのカメラの視線(35,35′)間の接続区間の中点として決定される、ことを特徴とする方法。 - 請求項17から23までのいずれか一項記載の方法において、
作成されたレベルプロフィールは標準モデルと比較される、ことを特徴とする方法。 - 請求項24記載の方法において、
標準モデルを識別した後、別の標準モデルが残りの空間に挿入可能であるか否かが検査される、ことを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006050379A DE102006050379A1 (de) | 2006-10-25 | 2006-10-25 | Verfahren und Vorrichtung zur Überwachung eines Raumvolumens sowie Kalibrierverfahren |
PCT/DE2007/001894 WO2008049404A2 (de) | 2006-10-25 | 2007-10-24 | Verfahren und vorrichtung zur überwachung eines raumvolumens sowie kalibrierverfahren |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010507846A true JP2010507846A (ja) | 2010-03-11 |
Family
ID=39264594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009533653A Pending JP2010507846A (ja) | 2006-10-25 | 2007-10-24 | 空間容積の監視方法および監視装置、ならびに較正方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US8384768B2 (ja) |
EP (1) | EP2104904B1 (ja) |
JP (1) | JP2010507846A (ja) |
CN (1) | CN101601048B (ja) |
AU (1) | AU2007308558B2 (ja) |
CA (1) | CA2667600A1 (ja) |
DE (1) | DE102006050379A1 (ja) |
MX (1) | MX2009004225A (ja) |
WO (1) | WO2008049404A2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006050379A1 (de) * | 2006-10-25 | 2008-05-08 | Norbert Prof. Dr. Link | Verfahren und Vorrichtung zur Überwachung eines Raumvolumens sowie Kalibrierverfahren |
TW200937348A (en) * | 2008-02-19 | 2009-09-01 | Univ Nat Chiao Tung | Calibration method for image capturing device |
AT507531B1 (de) * | 2008-10-31 | 2011-02-15 | Arc Austrian Res Centers Gmbh | Verfahren zum zählen von objekten |
EP2191788A1 (en) * | 2008-11-29 | 2010-06-02 | Braun Gmbh | Method and device for three-dimensional measurement of a dental model |
US8890934B2 (en) | 2010-03-19 | 2014-11-18 | Panasonic Corporation | Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same |
EP2375376B1 (en) | 2010-03-26 | 2013-09-11 | Alcatel Lucent | Method and arrangement for multi-camera calibration |
CN102063721B (zh) * | 2011-01-06 | 2012-07-18 | 大连理工大学 | 一种视觉***外部参数标定过程中直线标定物倾斜的补偿方法 |
US8619148B1 (en) * | 2012-01-04 | 2013-12-31 | Audience, Inc. | Image correction after combining images from multiple cameras |
JP5843751B2 (ja) * | 2012-12-27 | 2016-01-13 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
CN105513122B (zh) * | 2014-09-24 | 2019-01-25 | 中兴通讯股份有限公司 | 阴影体的建立方法及装置 |
FI126498B (en) * | 2014-12-29 | 2017-01-13 | Helmee Imaging Oy | Optical measurement system |
CN115116191A (zh) * | 2022-06-30 | 2022-09-27 | 广州顺如电子科技有限公司 | 基于机器视觉的长大立体区域无盲区异物监测装置及方法 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4303851A (en) * | 1979-10-16 | 1981-12-01 | Otis Elevator Company | People and object counting system |
US4402053A (en) * | 1980-09-25 | 1983-08-30 | Board Of Regents For Education For The State Of Rhode Island | Estimating workpiece pose using the feature points method |
US4982438A (en) * | 1987-06-02 | 1991-01-01 | Hitachi, Ltd. | Apparatus and method for recognizing three-dimensional shape of object |
US5581625A (en) * | 1994-01-31 | 1996-12-03 | International Business Machines Corporation | Stereo vision system for counting items in a queue |
JP3521637B2 (ja) * | 1996-08-02 | 2004-04-19 | オムロン株式会社 | 通過人数計測装置及びそれを用いた入退場者数管理システム |
US6088612A (en) * | 1997-04-04 | 2000-07-11 | Medtech Research Corporation | Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection |
US6606404B1 (en) * | 1999-06-19 | 2003-08-12 | Microsoft Corporation | System and method for computing rectifying homographies for stereo vision processing of three dimensional objects |
JP3429280B2 (ja) * | 2000-09-05 | 2003-07-22 | 理化学研究所 | 画像のレンズ歪みの補正方法 |
US6720874B2 (en) * | 2000-09-29 | 2004-04-13 | Ids Systems, Inc. | Portal intrusion detection apparatus and method |
US7058204B2 (en) * | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
JP2004523027A (ja) * | 2000-12-05 | 2004-07-29 | イエダ リサーチ アンド ディベロプメント カンパニー リミテッド | 空間的または時間的にオーバーラップしない画像シーケンスの位置合わせのための装置並びに方法 |
US7167576B2 (en) * | 2001-07-02 | 2007-01-23 | Point Grey Research | Method and apparatus for measuring dwell time of objects in an environment |
US7444013B2 (en) * | 2001-08-10 | 2008-10-28 | Stmicroelectronics, Inc. | Method and apparatus for recovering depth using multi-plane stereo and spatial propagation |
US20030058111A1 (en) * | 2001-09-27 | 2003-03-27 | Koninklijke Philips Electronics N.V. | Computer vision based elderly care monitoring system |
US7688349B2 (en) * | 2001-12-07 | 2010-03-30 | International Business Machines Corporation | Method of detecting and tracking groups of people |
US7382895B2 (en) * | 2002-04-08 | 2008-06-03 | Newton Security, Inc. | Tailgating and reverse entry detection, alarm, recording and prevention using machine vision |
US6917702B2 (en) * | 2002-04-24 | 2005-07-12 | Mitsubishi Electric Research Labs, Inc. | Calibration of multiple cameras for a turntable-based 3D scanner |
US7200266B2 (en) * | 2002-08-27 | 2007-04-03 | Princeton University | Method and apparatus for automated video activity analysis |
JP2004356683A (ja) * | 2003-05-27 | 2004-12-16 | Fuji Photo Film Co Ltd | 画像管理システム |
EP1658579B1 (en) * | 2003-08-15 | 2016-09-28 | Scape A/S | Method for for classification and spatial localization of bounded 3d-objects |
WO2005033629A2 (en) * | 2003-09-19 | 2005-04-14 | University Of Miami | Multi-camera inspection of underwater structures |
WO2005086620A2 (en) * | 2003-10-10 | 2005-09-22 | L-3 Communications Security And Detection Systems | Mmw contraband screening system |
DE10348684A1 (de) * | 2003-10-15 | 2005-05-19 | Link, Norbert, Dr. | Abstandsbild-Video-Kamera |
US7623674B2 (en) | 2003-11-05 | 2009-11-24 | Cognex Technology And Investment Corporation | Method and system for enhanced portal security through stereoscopy |
US20050104960A1 (en) * | 2003-11-17 | 2005-05-19 | Mei Han | Video surveillance system with trajectory hypothesis spawning and local pruning |
DE10359415A1 (de) * | 2003-12-16 | 2005-07-14 | Trimble Jena Gmbh | Verfahren zur Kalibrierung eines Vermessungsgeräts |
US8050491B2 (en) * | 2003-12-17 | 2011-11-01 | United Technologies Corporation | CAD modeling system and method |
US7463778B2 (en) * | 2004-01-30 | 2008-12-09 | Hewlett-Packard Development Company, L.P | Motion estimation for compressing multiple view images |
US8098290B2 (en) * | 2004-01-30 | 2012-01-17 | Siemens Corporation | Multiple camera system for obtaining high resolution images of objects |
US7429999B2 (en) * | 2004-05-24 | 2008-09-30 | CENTRE DE RECHERCHE INDUSTRIELLE DU QUéBEC | Camera calibrating apparatus and method |
US20100259539A1 (en) * | 2005-07-21 | 2010-10-14 | Nikolaos Papanikolopoulos | Camera placement and virtual-scene construction for observability and activity recognition |
US20070047837A1 (en) * | 2005-08-29 | 2007-03-01 | John Schwab | Method and apparatus for detecting non-people objects in revolving doors |
ITUD20050152A1 (it) * | 2005-09-23 | 2007-03-24 | Neuricam Spa | Dispositivo elettro-ottico per il conteggio di persone,od altro,basato su visione stereoscopica,e relativo procedimento |
US20070127787A1 (en) * | 2005-10-24 | 2007-06-07 | Castleman Kenneth R | Face recognition system and method |
WO2007049266A1 (en) * | 2005-10-28 | 2007-05-03 | Hi-Key Limited | A method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset |
US20070268145A1 (en) * | 2006-05-19 | 2007-11-22 | Bazakos Michael E | Automated tailgating detection via fusion of video and access control |
DE102006050379A1 (de) * | 2006-10-25 | 2008-05-08 | Norbert Prof. Dr. Link | Verfahren und Vorrichtung zur Überwachung eines Raumvolumens sowie Kalibrierverfahren |
US7777783B1 (en) * | 2007-03-23 | 2010-08-17 | Proximex Corporation | Multi-video navigation |
-
2006
- 2006-10-25 DE DE102006050379A patent/DE102006050379A1/de not_active Withdrawn
-
2007
- 2007-10-24 WO PCT/DE2007/001894 patent/WO2008049404A2/de active Application Filing
- 2007-10-24 CA CA002667600A patent/CA2667600A1/en not_active Abandoned
- 2007-10-24 CN CN2007800467958A patent/CN101601048B/zh not_active Expired - Fee Related
- 2007-10-24 EP EP07817728.4A patent/EP2104904B1/de not_active Not-in-force
- 2007-10-24 MX MX2009004225A patent/MX2009004225A/es active IP Right Grant
- 2007-10-24 AU AU2007308558A patent/AU2007308558B2/en not_active Ceased
- 2007-10-24 US US12/311,924 patent/US8384768B2/en not_active Expired - Fee Related
- 2007-10-24 JP JP2009533653A patent/JP2010507846A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CA2667600A1 (en) | 2008-05-02 |
MX2009004225A (es) | 2009-08-12 |
US8384768B2 (en) | 2013-02-26 |
WO2008049404A2 (de) | 2008-05-02 |
US20100026786A1 (en) | 2010-02-04 |
CN101601048A (zh) | 2009-12-09 |
AU2007308558A1 (en) | 2008-05-02 |
CN101601048B (zh) | 2013-03-20 |
EP2104904B1 (de) | 2017-05-17 |
DE102006050379A1 (de) | 2008-05-08 |
AU2007308558B2 (en) | 2012-03-08 |
WO2008049404A3 (de) | 2009-08-20 |
EP2104904A2 (de) | 2009-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010507846A (ja) | 空間容積の監視方法および監視装置、ならびに較正方法 | |
US10839213B2 (en) | Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium | |
US20040153671A1 (en) | Automated physical access control systems and methods | |
CN104902246B (zh) | 视频监视方法和装置 | |
EP3128484B1 (en) | Method of estimating parameter of three-dimensional (3d) display device and 3d display device using the method | |
CN104349136B (zh) | 三维侦测装置侦测影像的方法 | |
US20050249382A1 (en) | System and Method for Restricting Access through a Mantrap Portal | |
CN106530358A (zh) | 仅用两幅场景图像标定ptz摄像机的方法 | |
WO2011139734A2 (en) | Method for moving object detection using an image sensor and structured light | |
KR101961891B1 (ko) | 자동출입심사대에 진입하는 사람 및 물건 중 사람을 자동 계수하는 방법 및 장치 | |
JP2015501578A (ja) | 射影空間監視のための方法および装置 | |
CN104954747B (zh) | 视频监视方法和装置 | |
US10671857B2 (en) | Methods and systems for video surveillance | |
US20170098139A1 (en) | Method and a system for identifying reflective surfaces in a scene | |
CN109147123B (zh) | 门禁锁的解锁方法、装置、电子设备和计算机存储介质 | |
US11048915B2 (en) | Method and a device for detecting fraud by examination using two different focal lengths during automatic face recognition | |
JP4307283B2 (ja) | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 | |
Wang et al. | Position determines perspective: Investigating perspective distortion for image forensics of faces | |
KR100961616B1 (ko) | 컨투어 정합을 이용한 전방향 카메라 보정 방법 및 시스템 | |
KR101828710B1 (ko) | 객체 가려짐 검출 장치 및 그 방법 | |
US20210264637A1 (en) | Multiple view triangulation with improved robustness to observation errors | |
CN111754713B (zh) | 视频监控方法、装置及*** | |
Neves et al. | A Master‐Slave Calibration Algorithm with Fish‐Eye Correction | |
CN111630345B (zh) | 用于根据空间区域的图像确定距离信息的方法 | |
US20230298185A1 (en) | Static privacy masking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100223 |