JP2012181063A - 計算装置、計算方法及び計算プログラム - Google Patents

Abstract

【課題】手間を掛けずに精度高く、カメラの設置高や設置角度を計算可能な計算技術を提供することを目的とする。
【解決手段】計算装置は、第１取得部と、第２取得部と、計算部と、を備える。第１取得部は、各々異なる位置にあるときの同一の対象物が同一のカメラにより、各々撮影された複数の画像を取得する。第２取得部は、対象物の高さを取得する。計算部は、複数の画像及び高さを用いて、カメラの設置角度及び設置高を計算する。
【選択図】図１

Description

本発明は、計算装置、計算方法及び計算プログラムに関する。

従来より、カメラにより撮影された画像を用いて、当該画像に写っている対象物からカメラまでの距離や対象物の高さを計算したり、カメラの設置角度を計算したりする技術がある（例えば特許文献１〜３参照）。

特開平０９−３１８３５１号公報 特開２００３−３２９４１１号公報 特開２０１０−２４５６２８号公報

近年では、例えば、監視カメラにより撮影された画像に写っている人物の位置から実際の空間上の人物の位置や高さを計算して、人物の実際の身長を計算することが求められている。この場合、カメラの設置高や設置角度を事前に計測しておく必要があるが、計測に手間が掛かったり、計測の方法や人的誤差によって精度が大きく変化してしまったりする恐れがあった。

本発明は、上記に鑑みてなされたものであって、手間を掛けずに精度高く、カメラの設置高や設置角度を計算可能な計算装置、計算方法及び計算プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、計算装置であって、各々異なる位置にあるときの同一の対象物が同一のカメラにより各々撮影された複数の画像を取得する第１取得部と、前記対象物の高さを取得する第２取得部と、前記複数の画像及び前記高さを用いて、前記カメラの設置角度及び設置高を計算する計算部とを備えることを特徴とする。

また、本発明は、第１取得部と、第２取得部と、計算部とを備える計算装置で実行される計算方法であって、前記第１取得部が、各々異なる位置にあるときの同一の対象物が同一のカメラにより各々撮影された複数の画像を取得する第１取得ステップと、前記第２取得部が、前記対象物の高さを取得する第２取得ステップと、前記計算部が、前記複数の画像及び前記高さを用いて、前記カメラの設置角度及び設置高を計算する計算ステップとを含むことを特徴とする。

また、本発明は、上記の計算方法をコンピュータに実行させるための計算プログラムである。

本発明によれば、手間を掛けずに精度高く、カメラの設置高や設置角度が計算可能になる。

図１は、一実施の形態の計算装置５０の機能的構成を例示する図である。 図２は、２つの画像Ｇ１，Ｇ２を例示する図である。 図３は、計算装置５０の行う計算処理の手順を示すフローチャートである。 図４は、２つの画像に写っている同一人物のいる各位置と、カメラの設置位置との位置関係をＸＹＺ空間において示す図である。 図５は、１つの画像に写っている同一人物のいる位置と、カメラの設置位置との位置関係をＸＺ平面において示す図である。 図６は、インターフェースを例示する図である。 図７は、適用例を説明するための図である。 図８は、適用例を説明するための図である。

以下に添付図面を参照して、この発明にかかる計算装置、計算方法及び計算プログラムの一実施の形態を詳細に説明する。

ここで、本実施の形態の計算装置のハードウェア構成について説明する。計算装置は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶部と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の補助記憶部と、これらを接続するバスとを備えており、通常のコンピュータを利用したハードウェア構成となっている。また、計算装置には、情報を表示する表示部と、ユーザの指示入力を受け付けるキーボードやマウス等の操作入力部と、外部装置の通信を制御する通信Ｉ／Ｆ（interface）とが有線又は無線により各々接続される。また、計算装置には、画像を撮影するカメラが接続され、カメラによって撮影された画像が例えば補助記憶部に記憶されるようにしても良い。また、計算装置には、通信Ｉ／Ｆとして、放送波を受信する受信部が接続され、放送波により搬送された画像が受信部により受信されて主記憶部や補助記憶部に記憶されるようにしても良い。また、計算装置には、通信Ｉ／Ｆとして、ネットワークを介した通信を制御する通信Ｉ／Ｆが接続され、外部装置から送信された画像が通信Ｉ／Ｆを介して受信されて主記憶部や補助記憶部に記憶されるようにしても良い。ネットワークとは、例えば、ＬＡＮ（Local Area Network）、イントラネット、イーサネット（登録商標）又はインターネットなどである。本実施の形態においては、画像がどのようにして主記憶部や補助記憶部に記憶されるかは限定されないが、所定の場所に配設された監視カメラ等のカメラによって撮影された画像であり、主記憶部や補助記憶部に記憶された画像を取り扱うものとする。当該画像は、pixel単位の画素毎に画素値を示す情報である。尚、動画像を取り扱う場合、例えば、フレーム毎の画像（フレーム画像という）について、連続する又は不連続な複数のフレーム画像を対象として取り扱う。

次に、このようなハードウェア構成において、計算装置によって実現される各種機能について説明する。図１は、計算装置５０の機能的構成を例示する図である。計算装置５０は、画像取得部５１と、高さ取得部５２と、計算部５３と、出力部５４とを有する。これらの各部の機能は、計算装置５０の有するＣＰＵが主記憶部や補助記憶部に記憶された各種プログラムを実行することにより実現される。

画像取得部５１は、各々異なる位置にあるときの同一の対象物が同一のカメラにより各々撮影された複数の画像を取得する。画像取得部５１は、当該画像を、上述したように記憶された主記憶部や補助記憶部から読み出すことにより取得する。

図２は、対象物が人物であり、当該人物が異なる位置にいるときに同一のカメラにより各々撮影された２つの画像Ｇ１，Ｇ２を例示する図である。画像Ｇ１は、当該人物について３次元空間における垂直方向の一端の位置である頭の位置がＱ１であり、垂直方向の他端の位置である足元の位置がＱ２であるときの画像であり、画像Ｇ２は、当該人物の頭の位置がＱ３であり、足元の位置がＱ４であるときの画像である。

高さ取得部５２は、画像取得部５１が取得した画像に写っている対象物の高さを取得する。この高さの値は、例えば、計算装置５０に接続された操作入力部を介してユーザにより入力され、高さ取得部５２は、当該値の入力を受け付けることにより、当該高さを取得する。

計算部５３は、画像取得部５１が取得した複数の画像と、高さ取得部５２が取得した高さとを用いて、カメラの設置状況として、カメラの設置角度（俯角）及び設置高を計算する。具体的な計算方法については後述する。出力部５４は、計算部５３が計算したカメラの設置角度（俯角）及び設置高を出力する。

次に、本実施の形態にかかる計算装置５０の行う計算処理の手順について図３を用いて説明する。計算装置５０は、画像取得部５１の機能により、１つのカメラにより撮影された１つの画像を取得する(ステップＳ１)。また、計算装置５０は、高さ取得部５２の機能により、画像に写っている対象物として人物の高さ（身長）を取得する(ステップＳ２)。そして、計算装置５０は、ステップＳ１で取得した画像を解析して、人物の写っている領域（人体領域という）を検出するための人体検出処理を行う(ステップＳ３)。人体検出処理は周知の技術を用いて行うことができるため、ここではその説明を省略する。次いで、計算装置５０は、人体領域を検出できたか否かを判定する（ステップＳ４）。当該判定結果が否定的である場合(ステップＳ４：ＮＯ)、ステップＳ１に戻り、計算装置５０は、同一のカメラにより撮影された新たな画像を取得する。

ステップＳ４の判定結果が肯定的である場合（ステップＳ４：ＹＥＳ）、計算装置５０は、ステップＳ１で取得した画像に対して、複数の画像において所定の領域(計測領域という)に写っている人物を同定するための人物追跡処理を行い（ステップＳ５）、当該画像の計測領域に同一の人物が写っているか否かを判定する（ステップＳ６）。人物追跡処理は周知の技術を用いて行うことができるため、ここではその説明を省略する。尚、計算装置５０が計算処理を行ってから初めてステップＳ５を行う場合、ステップＳ４で検出した人体領域に写っている人物を同定対象の人物として、次回以降のステップＳ１で取得した画像に対してステップＳ５の人物追跡処理を行って、ステップＳ６で、当該画像の計測領域に同定対象の人物が写っているか否かを判定する。当該判定結果が否定的である場合（ステップＳ６：ＮＯ）、ステップＳ１に戻り、計算装置５０は、同一のカメラにより撮影された新たな画像を取得する。一方、ステップＳ６の判定結果が肯定的である場合（ステップＳ６：ＹＥＳ）、計算装置５０は、ステップＳ４で検出した人体領域について座標を取得してこれを主記憶部に記憶させる（ステップＳ７）。そして、計算装置５０は、同一の人物に対して異なる画像から人体領域の座標を取得した回数を「１」加算する。

次いで、計算装置５０は、同一の人物に対して異なる画像から人体領域の座標を取得した回数がＮ（Ｎ：２以上の整数）回以上であるか否かを判定する（ステップＳ８）。当該判定結果が否定的である場合(ステップＳ８：ＮＯ)、ステップＳ１に戻り、計算装置５０は、同一のカメラにより撮影された新たな画像を取得する。尚、このとき、計算装置５０は、前回のステップＳ１で取得した画像に写っている人物と異なる人物が写った画像を取得しても良いし、前回のステップＳ１で取得した画像に写っている人物と同一の人物が新たな対象物として写った画像を取得しても良い。

一方、ステップＳ８の判定結果が肯定的である場合（ステップＳ８：ＹＥＳ）、計算装置５０は、ステップＳ７で主記憶部に記憶させた人体領域の座標及びステップＳ２で取得した身長を用いて、カメラの設置角度（俯角）を計算する（ステップＳ９）。また、計算装置５０は、同一の人物に対して異なる画像から人体領域の座標を取得した回数を「０」にリセットする。ここで、俯角を計算する方法について図２，４〜５を用いて説明する。ここでは、図２の画像Ｇ１，Ｇ２がステップＳ１で各々取得され、ステップＳ７で画像Ｇ１からは位置Ｑ１，Ｑ２の座標が取得され、画像Ｇ２からは位置Ｑ３，Ｑ４の座標が取得されたとする。

図４は、２つの画像に写っている同一人物のいる各位置と、これらの画像を撮影したカメラの設置位置との位置関係を３次元空間であるＸＹＺ空間において示す図である。図５は、１つの画像に写っている同一人物のいる位置と、これらの画像を撮影したカメラの設置位置との位置関係をＸＺ平面において示す図である。ここで、垂直方向をＺ軸とし、Ｚ軸に対する水平面をＸ軸及びＹ軸で構成されるＸＹ平面とする。ＸＺ平面は、垂直方向及び水平方向を２軸とする平面である。Ｚ軸上の座標に対応するカメラの設置高をＨ_ｃａｍ（ｍ）とし、人物の高さである身長をＨ_ｍａｎ（ｍ）とし、カメラの設置角度（俯角）をαとする。人物の身長Ｈ_ｍａｎは、ステップＳ２で高さ取得部５２の機能により取得されたものであり、既知である。画像Ｇ１において、カメラの設置位置から人物の足元の位置Ｑ２までの距離をＤ_２（ｍ）とし、カメラからＸＺ平面上に射影された光軸に対する位置Ｑ２の角度をρ_ｚ２とし、カメラからＸＺ平面上に射影された光軸に対する位置Ｑ１の角度をρ_ｚ１とし、ＸＹ平面上の消失点をＱｖｐ（Ｘｖｐ，Ｙｖｐ）とし、画像Ｇ１上での見かけの人物の長さ、即ち、位置Ｑ１から位置Ｑ２までの長さをＰ_１２（pixels）とし、これに対し画像Ｇ１，Ｇ２上での俯角の影響を取り除いた人物の長さをＰ´_１２（pixels）とする。また、画像Ｇ２においてカメラの設置位置から人物の足元の位置Ｑ４までの距離をＤ_４（ｍ）とし、カメラからＸＺ平面上に射影された光軸に対する位置Ｑ４の角度をρ_ｚ４とし、カメラからＸＺ平面上に射影された光軸に対する位置Ｑ３の角度をρ_ｚ３とし、画像Ｇ２上での見かけの人物の長さ、即ち、位置Ｑ３から位置Ｑ４までの長さをＰ_３４（pixels）とし、これに対し画像Ｇ１，Ｇ２上での俯角の影響を取り除いた人物の長さをＰ´_３４（pixels）とする。このとき、距離Ｄ_２,Ｄ_４と設置高をＨ_ｃａｍとの関係から、以下の式１〜２が導出される。

また、距離Ｄ_２,Ｄ_４と人物の長さＰ´_１２,Ｐ´_３４とには反比例の関係があることから、以下の式３が成立する。

画像Ｇ１，Ｇ２上での人物の長さＰ´_１２,Ｐ´_３４はそれぞれ、画像Ｇ１，Ｇ２上での見かけの人物の長さから、俯角が付いたことによって縮小される影響を取り除いたものであり、以下の式４〜５により求められる。

カメラからＸＺ平面上に射影された光軸に対する位置Ｑ１の角度ρ_ｚ１、当該光軸に対する位置Ｑ２の角度をρ_ｚ２、当該光軸に対する位置Ｑ３の角度をρ_ｚ３及び当該光軸に対する位置Ｑ４の角度をρ_ｚ４はそれぞれ、以下の式６〜９により求められる。尚、imgHeightは、画像の縦幅であり、βvは垂直画角であり、これらは既知である。ｙ_ｉは位置Ｑｉ（ｉ＝１〜４）のｙ座標である。

以上の式１〜式９を用いることにより、以下の式１０が導出され、俯角αを求めることができる。

図３の説明に戻る。計算装置５０は、ステップＳ９で計算した俯角及びステップＳ２で取得した身長を用いて、カメラの設置高を計算する（ステップＳ１０）。ここで、上述の位置Ｑｉ（ｉ＝１〜４）のｘ座標をＸ_ｉとし、ｙ座標をＹ_ｉとすると、カメラの設置高Ｈ_ｃａｍは、以下の式１１により求められる。即ち、カメラの設置高Ｈ_ｃａｍは、画像Ｇ１において俯角αを用いて求められる画像Ｇ１上のカメラの高さと、画像Ｇ１上での人物の長さＰ_１２との比及びステップＳ２で取得された人物の身長Ｈ_ｍａｎを用いて、求められる。より詳細には、カメラの設置高Ｈ_ｃａｍは、俯角αと、ＸＹ平面上の消失点と、ステップＳ２で取得された人物の身長Ｈ_ｍａｎとを用いて、求められる。尚、消失点のy座標Ｙｖｐは、以下の式１２により求められる。即ち、消失点のy座標Ｙｖｐは、画像Ｇ１，Ｇ２に各々写っている人物の垂直方向における一端の位置Ｑ１，Ｑ３及び他端の位置Ｑ２，Ｑ４のそれぞれについてＸＹ平面における各ｘ座標及びｙ座標を用いて求められる。

以上のようにして、計算装置５０は、同一の人物毎に、カメラの俯角及び設置高を計算する。次いで、計算装置５０は、出力部５４の機能により、ステップＳ９で計算した俯角及びステップＳ１０で計算した設置高を出力する（ステップＳ１１）。ここで、ステップＳ１１で俯角及び設置高を出力するためのインターフェースの例について説明する。図６は、俯角及び設置高を出力するためのインターフェースを、人物の身長をユーザが入力するためのインターフェースと一体的に構成した画面を例示する図である。計算装置５０は、各々異なる位置にあるときの同一の対象物が同一のカメラにより各々撮影された複数の画像に対して、図６に例示される画面を表示部に表示させ、当該画面における入力項目Ｋ１に、操作入力部を介して対象物の高さ（身長）が入力されると、図３のステップＳ２で当該身長の入力を受け付け、ステップＳ３〜Ｓ１０を行い、ステップＳ１１では、ステップＳ９で計算したカメラの設置角度（俯角）を出力項目Ｋ２に表示させると共に、ステップＳ１０で計算した設置高を出力項目Ｋ３に表示させる。また、計算装置５０は、各々異なる位置のうち、カメラに最も近い位置にあるときの対象物からカメラまでの距離（上述の例Ｄ_２又はＤ_４）を出力項目Ｋ４に表示させるようにしても良い。

以上のような構成によれば、カメラの設置角度及び設置高を実際に計測する手間を掛けずに、当該カメラにより撮影された画像を用いて、容易に計算することができる。また、当該設置角度及び設置高を実際に計測する場合に比べて、計測者の違いによる精度の誤差が生じにくいため、当該設置角度及び設置高を精度高く計算することができる。

ここで、以上のようにして計算されたカメラの設置角度及び設置高の適用例について説明する。上述したように、画像Ｇ１において、カメラの設置位置から人物の足元の位置Ｑ２までの距離Ｄ_２は、式１により求められた。これにより、カメラの設置されている水平面上の位置から人物の足元の位置Ｑ２までの水平距離Ｄ_ｘｙを容易に求めることができる。また、カメラに対して人物のいる方向θを、以下の式１３によりに求めることができる。尚、imgWidthは、画像の横幅であり、β_Hは水平画角である。ｘ_ｉは位置Ｑｉ（ｉ＝１〜４）のｘ座標である。

以上から、カメラを原点とし、人物のいる地面を平面とした実空間におけるマップ上の人物の位置が分かるようになる。ところで、人物の追跡を画像上で行う場合、画像上で手前に写っている人物と奥に写っている人物とでは、同一速度で移動していても、画像上での見かけの移動量は、大きく異なる。従って、画像上での人物の長さによって、人物を追跡する範囲を変える必要があった。本実施の形態によって、人物のいる地面を平面とした実空間におけるマップ上の人物の位置が分かれば、図７〜８に例示されるように、画像上での人物の見かけの長さに左右されることなく、人物を追跡する範囲を決定することができる。

[変形例]
なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。

上述した実施の形態において、計算装置５０で実行される各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また当該各種プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。

上述した実施の形態において、カメラの設置角度及び設置高を計算する際に用いる複数の画像に写っている同一の対象物として人物を取り扱ったが、これに限らず、ある程度の長さを有する物体や移動体であっても良い。

５０ 計算装置
５１ 画像取得部
５２ 高さ取得部
５３ 計算部
５４ 出力部

Claims (9)

1. 各々異なる位置にあるときの同一の対象物が同一のカメラにより各々撮影された複数の画像を取得する第１取得部と、
   前記対象物の高さを取得する第２取得部と、
   前記複数の画像及び前記高さを用いて、前記カメラの設置角度及び設置高を計算する計算部とを備える
   ことを特徴とする計算装置。
2. 前記計算部は、前記複数の画像に各々写っている前記対象物のある各前記位置と前記カメラの設置位置との３次元空間における位置関係及び前記カメラの設置位置から各前記位置までの各距離の比に基づいて、前記設置角度を計算する設置角度計算部を有する
   ことを特徴とする請求項１に記載の計算装置。
3. 前記設置角度計算部は、前記複数の画像のそれぞれにおいて前記カメラから垂直方向及び水平方向を２軸とする平面上に射影された光軸に対する各前記位置にある前記対象物の各角度と、前記複数の画像上のそれぞれにおける前記対象物の各長さとを用いて求められる各前記距離の比に基づいて、前記設置角度を計算する
   ことを特徴とする請求項２に記載の計算装置。
4. 前記設置角度計算部は、前記複数の画像のそれぞれにおいて前記カメラから垂直方向及び水平方向を２軸とする平面上に射影された光軸に対する前記対象物の垂直方向における一端の位置及び他端の位置の各角度と、前記複数の画像上のそれぞれにおける前記対象物の前記一端の位置から前記他端の位置までの各長さとを用いて求められる各前記距離の比に基づいて、前記設置角度を計算する
   ことを特徴とする請求項３に記載の計算装置。
5. 前記計算部は、前記複数の画像の少なくとも１つにおいて前記設置角度を用いて求められる前記画像上の前記カメラの高さと前記画像上の前記対象物の長さとの比及び前記高さを用いて、前記設置高を計算する設置高計算部を更に有する
   ことを特徴とする請求項２乃至４のいずれか一項に記載の計算装置。
6. 前記計算部は、前記設置角度と、前記複数の画像に各々写っている前記対象物の垂直方向における一端の位置及び他端の位置のそれぞれについて水平面における各位置座標を用いて求められる前記水平面上の消失点と、前記高さとを用いて、前記設置高を計算する設置高計算部を更に有する
   ことを特徴とする請求項５に記載の計算装置。
7. 前記設置角度及び設置高を出力する出力部を更に備える
   ことを特徴とする請求項１乃至６のいずれか一項に記載の計算装置。
8. 第１取得部と、第２取得部と、計算部とを備える計算装置で実行される計算方法であって、
   前記第１取得部が、各々異なる位置にあるときの同一の対象物が同一のカメラにより各々撮影された複数の画像を取得する第１取得ステップと、
   前記第２取得部が、前記対象物の高さを取得する第２取得ステップと、
   前記計算部が、前記複数の画像及び前記高さを用いて、前記カメラの設置角度及び設置高を計算する計算ステップとを含む
   ことを特徴とする計算方法。
9. 請求項８に記載の計算方法をコンピュータに実行させるための計算プログラム。

Images