JP6521658B2 - 角度検出システム、プログラムおよび角度検出方法 - Google Patents

Description

本発明は、未較正のカメラによって撮像された画像情報における実空間に対する回転角を、当該画像情報に基づいて検出する技術に関する。

昨今、周囲を撮像するカメラを設置して、周囲を監視する監視システムが広く運用されるようになっている。このような監視システムにおいて、所望の画像情報を撮像するためには、カメラの設置位置や向きなどを正確に調整する必要がある。例えば、ドーム形状（半球形状）の全方位カメラは、壁などに取り付ける設置面の平面視形状が「円」であるために、当該円の中心を中心とした回転位置の正常位置が外見上不明確であり、設置工事担当者は注意深くカメラの姿勢を決定して設置しなければならない。

したがって、監視システムに用いるカメラにおいて、その形状や取付構造等から設置する際のカメラの姿勢を容易に決定することができないと予想されるときには、当該カメラの上下左右方向などを確認するための指標をカメラの筐体表面などに設ける技術が知られている。このような技術を採用することにより、設置工事担当者は、筐体表面に設けられた指標を参考にしつつ、カメラの姿勢を決定して当該カメラを設置することができる。

しかし、筐体表面に設けられる指標を参考にしたとしても、設置作業は手作業であるために、厳密に姿勢を決定することは困難であり、カメラの撮像領域が実空間に対して傾いた状態で、画像情報が撮像されるという問題があった。したがって、設置工事担当者は、最終的には、撮像された画像情報を参照しつつ、試行錯誤的にカメラの姿勢を調整する必要があった。

従来より、設置されたカメラの姿勢を較正する技術としては、例えば、車の車載カメラについて当該車載カメラの姿勢のズレ（誤差）を検出する技術が提案されている。従来技術を用いれば、試行錯誤的に調整作業を行わなくても、検出されたズレを修正するだけで所望の画像情報を得ることができる。

特開２０１３−２２９６９２号公報

ところが、監視システムでは、カメラによって撮像された画像情報を閲覧するための閲覧装置が当該カメラとは離れた場所に設置されるものであり、当該画像情報を当該カメラの設置場所において確認することが困難である。したがって、一旦、カメラが誤った姿勢で設置されると、特許文献１に記載されている技術を用いてその誤差を検出したとしても、その修正作業は膨大になり、設置工事担当者の負担が増大するという問題があった。

また、そもそも筐体表面に設けられた指標を参照しつつ作業を行うことは、当該指標を意識することを設置工事担当者に強いるものであり、それ自体が設置工事担当者の負担となるという問題もある。

本発明は、上記課題に鑑みてなされたものであり、カメラを設置する際の設置工事担当者の負担を軽減しつつ、傾きのない見やすい画像情報を閲覧できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、角度検出システムであって、天井と前記天井に隣接する第１壁面との境界を画像情報として撮像する撮像手段と、前記撮像手段により撮像された画像情報に撮像されている前記境界を検出する境界検出手段と、前記境界検出手段により検出された境界に応じて、当該境界が検出された画像情報における水平方向αを検出する水平方向検出手段と、前記水平方向検出手段により検出された画像情報における水平方向αに基づいて、当該画像情報の実空間に対する回転角Δωを演算する回転角演算手段とを備え、前記撮像手段は、前記第１壁面に対向する第２壁面に設置された全方位カメラである。

また、請求項２の発明は、請求項１の発明に係る角度検出システムであって、前記境界検出手段は、前記撮像手段により撮像された画像情報から前記天井が撮像されている天井領域を検出し、検出した前記天井領域の周縁部に応じて前記境界を検出する。

また、請求項３の発明は、請求項２の発明に係る角度検出システムであって、前記境界検出手段は、前記撮像手段により撮像された画像情報に含まれる各画素の画素値に応じて、照明が撮像されている照明領域を検出することにより、前記天井領域を検出する。

また、請求項４の発明は、請求項３の発明に係る角度検出システムであって、前記境界検出手段は、前記撮像手段により撮像された画像情報において、当該画像情報から検出した照明領域の周囲の領域を所定数の画素を含むブロックに分割し、前記ブロックに含まれる画素の画素値によるヒストグラムを前記ブロックごとに求め、前記ブロックのヒストグラムの類似度に応じて前記天井領域を検出する。

また、請求項５の発明は、請求項１ないし４のいずれかに記載の角度検出システムであって、前記回転角演算手段により演算された回転角Δωに応じて、前記画像情報を回転させた修正画像情報を作成する画像修正手段をさらに備える。

また、請求項６の発明は、請求項１ないし５のいずれかに記載の角度検出システムであって、前記回転角演算手段により演算された回転角Δωに応じて、前記撮像手段における水平方向αを回転させる回転手段をさらに備える。

また、請求項７の発明は、請求項１ないし６のいずれかに記載の角度検出システムであって、前記回転角演算手段は、前記水平方向検出手段により検出された画像情報における水平方向αに基づいて、Δω＝ａｒｃｔａｎ（α）を演算することにより前記回転角Δωを演算する。

また、請求項８の発明は、コンピュータ読み取り可能なプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータを、天井と前記天井に隣接する第１壁面との境界を画像情報として撮像する撮像手段と、前記撮像手段により撮像された画像情報に撮像されている前記境界を検出する境界検出手段と、前記境界検出手段により検出された境界に応じて、当該境界が検出された画像情報における水平方向αを検出する水平方向検出手段と、前記水平方向検出手段により検出された画像情報における水平方向αに基づいて、当該画像情報の実空間に対する回転角Δωを演算する回転角演算手段とを備え、前記撮像手段は、前記第１壁面に対向する第２壁面に設置された全方位カメラである角度検出システムとして機能させる。

また、請求項９の発明は、角度検出方法であって、天井に隣接する第１壁面に対向する第２壁面に設置された全方位カメラによって、前記天井と前記第１壁面との境界を画像情報として撮像する工程と、撮像された画像情報に撮像されている前記境界を検出する工程と、検出された境界に応じて、当該境界が検出された画像情報における水平方向αを検出する工程と、検出された画像情報における水平方向αに基づいて、当該画像情報の実空間に対する回転角Δωを演算する工程とを有する。

請求項１ないし９に記載の発明は、天井と前記天井に隣接する第１壁面との境界を画像情報として全方位カメラにより撮像し、撮像された画像情報に撮像されている境界を検出し、検出された境界に応じて、当該境界が検出された画像情報における水平方向を検出し、検出された画像情報における水平方向に基づいて、当該画像情報の実空間に対する回転角を演算することにより、画像情報に基づいて、当該画像情報の実空間に対する回転角を求めることができる。したがって、人手を要することなく、負担を軽減することができる。

角度検出システムを示す図である。 全方位カメラのブロック図である。 閲覧装置のブロック図である。 閲覧装置が備える機能ブロックをデータの流れとともに示す図である。 角度検出システムの動作を示す流れ図である。 撮像部によって撮像された画像情報を例示する図である。 境界検出処理を示す流れ図である。 図６に示す画像情報に対して、天井照明領域をラベリングした状態を概念的に示す図である。 図６に示す画像情報に対して、天井候補領域を抽出した様子を示す図である。 周縁部が曲線形状として検出された場合の境界を決定する様子を示す図である。

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。

＜１． 実施の形態＞
図１は、角度検出システム１を示す図である。

角度検出システム１は、ドーム形状の全方位カメラ２と、一般的なパーソナルコンピュータである閲覧装置３とがネットワーク８を介して接続された形態である。角度検出システム１は、全方位カメラ２によって撮像された画像を閲覧装置３において閲覧することにより、監視システムとしての機能を有している。

なお、図１に示す部屋９は、角度検出システム１の全方位カメラ２が設置される空間を形成している。部屋９は、天井９０、当該天井９０に隣接する第１壁面９１、第１壁面９１に対向する第２壁面９２、および、天井９０と第１壁面９１との境界９３から形成されている。図１に示す例では、全方位カメラ２は、第２壁面９２に設置される。

また、図１に示すように、実空間における鉛直方向上向きのＵ軸、Ｕ軸に対して垂直なＶ軸、Ｕ軸およびＶ軸に対して垂直なＷ軸を定義する。これにより、Ｖ軸およびＷ軸は、水平面内に定義される軸となる。

また、ネットワーク８は、有線を用いる通信網であってもよいし、無線を用いるものであってもよい。また、ネットワーク８は、全方位カメラ２および閲覧装置３以外の装置を接続する機能を有していてもよい。さらに、角度検出システム１が備える全方位カメラ２および閲覧装置３は、いずれも１台の装置に限定されるものではない。

図２は、全方位カメラ２のブロック図である。全方位カメラ２は、ＣＰＵ２０、記憶装置２１、操作部２２、表示部２３、撮像部２４および通信部２５を備えている。

ＣＰＵ２０は、記憶装置２１に格納されているプログラム２１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ２０は、全方位カメラ２が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、全方位カメラ２は、一般的なコンピュータとして構成されている。

記憶装置２１は、全方位カメラ２において各種データを記憶する機能を提供する。言い換えれば、記憶装置２１が全方位カメラ２において電子的に固定された情報を保存する。

記憶装置２１としては、ＣＰＵ２０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、専用の読み取り装置に装着される可搬性の記憶媒体（ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図２においては、記憶装置２１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置２１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置２１は、データを記憶する機能を有する装置群の総称である。

また、現実のＣＰＵ２０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ２０が備える記憶装置も、説明の都合上、記憶装置２１に含めて説明する。すなわち、一時的にＣＰＵ２０自体が記憶するデータも、記憶装置２１が記憶するとして説明する。図２では、記憶装置２１がプログラム２１０のみを記憶するかのように示している。しかし、例えば、画像情報２４０など他の情報を記憶するために記憶装置２１を使用してもよい。

操作部２２は、全方位カメラ２に対してオペレータ等が指示を入力するために操作するハードウェアである。操作部２２としては、例えば、電源ボタン（撮像開始ボタン）などが想定される。ただし、操作部２２は、これに限定されるものではなく、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイスなどであってもよい。

表示部２３は、各種データを表示することによりオペレータ等に対して出力する機能を有するハードウェアである。表示部２３としては、例えば、撮像が正常に実行されていることを示すＬＥＤなどが想定される。ただし、表示部２３はＬＥＤに限定されるものではなく、各種ランプや液晶ディスプレイ、液晶パネルなどであってもよい。

撮像部２４は、図示しない光電変換素子を備えており、周囲を撮像することにより、画像情報２４０を取得する機能を有している。図示を省略するが、撮像部２４が撮像する画像情報２４０において上向きの軸を「Ｘ軸」、Ｘ軸に垂直な軸を「Ｙ軸」、Ｘ軸およびＹ軸に垂直な軸を「Ｚ軸」と定義する。全方位カメラ２において、Ｘ軸およびＹ軸は全方位カメラ２を取り付けるための平坦な設置面（図示せず。）と平行となり、Ｚ軸は当該設置面と垂直となる。このようなＸ軸、Ｙ軸およびＺ軸は、全方位カメラ２が設計・製造されるときに決定される。

撮像部２４は、Ｚ軸を中心とした全方位を撮像する機能を有している。さらに、撮像部２４は、天井９０と天井９０に隣接する第１壁面９１との境界９３を画像情報２４０として撮像する。言い換えれば、オペレータは、撮像部２４が、境界９３を撮像することができるように全方位カメラ２を第２壁面９２に設置する。

一般的なオフィスなどでは、部屋９によって形成される空間が略直方体となるように設計されており、第１壁面９１と第２壁面９２とは互いに対向し、第１壁面９１および第２壁面９２はいずれも平坦面である。このように、第１壁面９１が曲面ではなく平坦面であることから、境界９３は直線状となる。また、オペレータが全方位カメラ２を、第１壁面９１に対向する第２壁面９２に設置することにより、全方位カメラ２のＺ軸方向に平行な方向と境界９３とが互いに垂直の位置関係となる。

通信部２５は、撮像部２４により取得された画像情報２４０をネットワーク８を介して閲覧装置３に向けて送信する機能を有している。なお、通信部２５は、画像情報２４０以外の情報を送信する機能を有していてもよいし、閲覧装置３から送信される各種情報を受信する機能を有していてもよい。

図３は、閲覧装置３のブロック図である。閲覧装置３は、ＣＰＵ３０、記憶装置３１、操作部３２、表示部３３および通信部３５を備えている。

ＣＰＵ３０は、記憶装置３１に格納されているプログラム３１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ３０は、閲覧装置３が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、閲覧装置３は、一般的なコンピュータとして構成されている。

記憶装置３１は、閲覧装置３において各種データを記憶する機能を提供する。言い換えれば、記憶装置３１が閲覧装置３において電子的に固定された情報を保存する。

記憶装置３１としては、ＣＰＵ３０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、比較的大容量の情報を記憶するハードディスク、専用の読み取り装置に装着される可搬性の記憶媒体（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＰＣカード、ＳＤカード、ＵＳＢメモリなど）等が該当する。図３においては、記憶装置３１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置３１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置３１は、データを記憶する機能を有する装置群の総称である。

また、現実のＣＰＵ３０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ３０が備える記憶装置も、説明の都合上、記憶装置３１に含めて説明する。すなわち、一時的にＣＰＵ３０自体が記憶するデータも、記憶装置３１が記憶するとして説明する。図３に示すように、記憶装置３１は、プログラム３１０、画像情報２４０および修正画像情報３１１を記憶する。ただし、記憶装置３１が記憶する情報は、これらの情報に限定されるものではない。

操作部３２は、閲覧装置３に対してオペレータ等が指示を入力するために操作するハードウェアである。操作部３２としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、ジョグダイヤルなどが該当する。

表示部３３は、各種データを表示することによりオペレータ等に対して出力する機能を有するハードウェアである。特に、表示部３３は、修正画像情報３１１を表示する。表示部３３としては、例えば、ＣＲＴや液晶ディスプレイ、液晶パネルなどが該当する。ただし、表示部３３は、各種ランプやＬＥＤなどを含んでいてもよい。

通信部３５は、全方位カメラ２から送信された画像情報２４０をネットワーク８を介して受信する機能を有している。なお、通信部３５は、画像情報２４０以外の情報を受信する機能を有していてもよいし、閲覧装置３から全方位カメラ２に向けて各種情報を送信する機能を有していてもよい。

図４は、閲覧装置３が備える機能ブロックをデータの流れとともに示す図である。図４に示す境界検出部３００、水平方向検出部３０１、回転角演算部３０２、および、画像修正部３０３は、ＣＰＵ３０がプログラム３１０に従って動作することにより実現される機能ブロックである。

境界検出部３００は、全方位カメラ２の撮像部２４により撮像され、通信部３５により受信された画像情報２４０に撮像されている境界９３を検出する。すなわち、境界検出部３００は、画像処理（詳細は後述する。）によって画像情報２４０に撮像されてい被写体から境界９３を認識し、抽出する機能を有している。このように境界検出部３００によって境界９３として検出された画像（境界９３と推定された画像部分）は、境界情報３１２に記録される。

水平方向検出部３０１は、境界検出部３００により検出された境界９３（境界情報３１２）に応じて、当該境界９３が検出された画像情報２４０における水平方向を検出する。水平方向検出部３０１によって検出された水平方向を示す情報は、水平方向情報３１３として記録される。

回転角演算部３０２は、水平方向情報３１３を参照し、水平方向検出部３０１により検出された画像情報２４０における水平方向に基づいて、当該画像情報２４０の実空間に対する回転角（以下、「回転角Δθ」と称する。）を演算により推定する。回転角演算部３０２により求められる回転角（回転角Δθの推定値。以下、「回転角Δω」と称する。）は、回転角情報３１４に記録される。

画像修正部３０３は、回転角情報３１４を参照し、回転角演算部３０２により演算された回転角Δωに応じて、画像情報２４０を回転させた修正画像情報３１１を作成する。このように、全方位カメラ２が設置されたときの撮像部２４のズレ角（回転角Δθ）を、画像修正部３０３が較正するのである。

以上が、角度検出システム１の構成および機能の説明である。次に、角度検出システム１を用いて回転角Δθを演算する角度検出方法について説明する。

図５は、角度検出システム１の動作を示す流れ図である。なお、図５に示す各工程が開始されるまでに、全方位カメラ２が設置され、全方位カメラ２と閲覧装置３との間のデータ通信が可能な状態にされているものとする。

角度検出システム１は、運用が開始されると、所定の初期設定を実行した後に、撮像タイミングと、動作モードが解析モードであるか否かと、表示タイミングとをそれぞれ監視する状態となる（ステップＳ１１，Ｓ１６，Ｓ２２）。角度検出システム１におけるこの状態を、以下、「待機状態」と称する。

なお、解析モードとは、角度検出システム１に定義される動作モードであって、画像情報２４０を解析して回転角Δωを求めるための動作モードである。また、角度検出システム１において、全方位カメラ２と閲覧装置３との間のデータ通信が確立され最初の画像情報２４０が閲覧装置３に記録されたときに、自動的に動作モードが解析モードに移行するものとする。ただし、解析モードへの移行契機はこれに限定されるものではなく、例えば、オペレータが、全方位カメラ２の操作部２２を操作し、動作モードを解析モードに移行させるための指示を入力した場合などにおいても、動作モードが移行するように構成してもよい。

待機状態において、撮像タイミングが到来すると、全方位カメラ２のＣＰＵ２０がステップＳ１１においてＹｅｓと判定し、周囲の被写体を撮像するように撮像部２４を制御する。これにより、撮像部２４が撮像を行い（ステップＳ１２）、画像情報２４０が作成される。

図６は、撮像部２４によって撮像された画像情報２４０ａを例示する図である。なお、一般的な全方位カメラにおいては、魚眼レンズなどを用いることにより、全方位を撮像するように設計されている場合がある。このように魚眼レンズなどを用いた場合、画像情報２４０の画像は歪んだ画像となり、画像情報２４０における水平方向も直線とはならない。しかし、以下では、説明を簡単にするために、図６に示すように、このような歪みのない補正された画像（いわゆるノーマル展開された画像）で説明する。このような補正は、例えば、撮像部２４が備える魚眼レンズの曲率（既知）などに基づいて容易に実行することができるため、ここでは詳細な説明を省略する。

全方位カメラ２は、図１に示すように、第２壁面９２に設置され、部屋９内を撮像することによって、天井９０と、第１壁面９１とを撮像する。このように天井９０と、天井９０に隣接する第１壁面９１とが撮像されることにより、天井９０と第１壁面９１との境である境界９３も撮像される。

言い換えれば、全方位カメラ２の設置工事担当者は、少なくとも天井９０と第１壁面９１とが撮像されるように、全方位カメラ２を設置する。一般的な全方位カメラは、平坦面に取り付ける際に、当該平坦面に対する法線方向を中心とした全方位を撮像するように設計されている。したがって、オペレータは、全方位カメラ２を第２壁面９２に設置さえすれば、特に意識しなくても、図６に示すような画像情報２４０ａ（境界９３を含むように撮像された画像情報２４０）を撮像させることができる。すなわち、全方位カメラ２を設置するときに、境界９３を撮像するように設置することをオペレータに要求したとしても、オペレータの負担は大きなものとはならない。

一方で、オペレータは、撮像部２４の回転位置（Ｚ軸を中心軸とした回転位置）については、正確に調整することなく、アバウトに設置する。このように、オペレータが撮像部２４の回転位置について意識することなく適当に設置すると、全方位カメラ２によって撮像される画像は、図６に示す画像情報２４０ａのように、画像情報２４０における水平方向が実空間の水平方向に対して傾いた画像となる。

このようにして画像情報２４０に生じる実空間に対する傾きは、「回転角Δθ」である。すでに説明したように、この「回転角Δθ」は、オペレータが全方位カメラ２を設置した際に生じるズレ（誤差）である。したがって、全方位カメラ２の姿勢が改められない限り（すなわち、全方位カメラ２が設置しなおされない限り）、当該回転角Δθは変化することはなく、一定である。

さらに、図６から明らかなように、ここに例示する画像情報２４０ａには、床面９５も撮像されており、第１壁面９１と床面９５とによって形成される境界９６も撮像されている。また、天井９０には、複数の照明９４が設置され、撮像されている。

図５に示すステップＳ１２が実行されて、画像情報２４０が取得されると、通信部２５は、取得された画像情報２４０を閲覧装置３に向けて送信する（ステップＳ１３）。

なお、図５に示す例では、画像情報２４０が撮像されると、新たに作成された画像情報２４０が直ちに閲覧装置３に向けて送信される。しかし、ステップＳ１２とステップＳ１３との間にタイムラグがあってもよい。例えば、撮像された画像情報２４０を、一旦、記憶装置２１に格納し、所定の期間が経過し、送信タイミングが到来したときに、記憶装置２１に格納されている画像情報２４０がまとめて送信されるように構成してもよい。

全方位カメラ２から画像情報２４０が送信されると、閲覧装置３の通信部３５がネットワーク８を介して当該画像情報２４０を受信し（ステップＳ１４）、記憶装置３１に記録する（ステップＳ１５）。このようにして、角度検出システム１は、撮像タイミングが到来するたびに、閲覧装置３に新たな画像情報２４０が送信され、順次、蓄積される。なお、ステップＳ１５を実行すると、角度検出システム１は、待機状態に戻る。

待機状態において、動作モードが解析モードになると、閲覧装置３のＣＰＵ３０がステップＳ１６においてＹｅｓと判定し、境界検出処理を実行する（ステップＳ１７）。なお、境界検出処理とは、画像情報２４０から境界９３を検出する処理である。詳細は後述するが、境界検出部３００は、画像情報２４０から、天井９０に相当する画素で構成される領域を検出し、当該領域の周縁部として境界９３に相当する画素を検出する。

図７は、境界検出処理を示す流れ図である。

境界検出処理が開始されると、まず、境界検出部３００は、記憶装置３１に記憶されている画像情報２４０から、演算に使用する画像情報２４０を特定して読み出す（ステップＳ３１）。

なお、ステップＳ３１において読み出される画像情報２４０は、これまでに回転角Δωを演算するための対象となっていなかったものであることが好ましい。また、ステップＳ３１において読み出される画像情報２４０は１つに限定されるものではなく、複数の画像情報２４０に基づいて回転角Δωを演算するように構成してもよい。

次に、境界検出部３００は、画像情報２４０に含まれる複数の画素について、それぞれ輝度値を取得し（ステップＳ３２）、取得した輝度値が閾値（以下、「閾値Ｑ」と称する。）以上の画素を、天井照明領域を示す画素としてラベリングする（ステップＳ３３）。

なお、ステップＳ３３において使用する閾値Ｑは、点灯状態の照明に相当する画素を判別するための閾値であり、比較的高い値として設定することが好ましい。この閾値Ｑを高い値として設定することにより、例えば、第１壁面９１に窓などの比較的明るい被写体が存在する場合にも当該窓を天井照明領域と誤認識することを防止することができる。

図８は、図６に示す画像情報２４０ａに対して、天井照明領域をラベリングした状態を概念的に示す図である。ステップＳ３３が実行されたことにより、照明９４に相当する画素の領域は、天井照明領域７０，７１，７２，７３，７４，７５，７６としてラベリングされる。

一方で、図８に示すように、画像情報２４０ａにおいて人物の白い服を示す画素であった領域も、輝度値が比較的高くなるため、天井照明領域７７としてラベリングされている。この天井照明領域７７は、天井９０に設けられた照明９４を示す画素ではなく、天井照明領域としては誤検出である。

このように、画素の輝度値を閾値Ｑと比較するだけでは、例に示すように、白い服を示す画素や机上の照明を示す画素、あるいは、照明光を反射している物体などを天井照明領域として誤って検出してしまう。これらの誤検出に対する対処方法は、後述する。

図７に戻って、天井照明領域のラベリングが終了すると、境界検出部３００は、検出された各天井照明領域７０ないし７７の面積（画素数）に応じた数の画素を含む統合用ブロックを、各天井照明領域７０ないし７７に対してそれぞれ定義する。そして、定義した当該統合用ブロックを、対応する天井照明領域７０ないし７７の周囲を囲むように配置し、各統合用ブロックに含まれる画素の輝度値のヒストグラムを求める（ステップＳ３４）。

さらに、境界検出部３００は、ステップＳ３４において求めたヒストグラムが互いに類似する統合用ブロックに含まれる画素を、１つの天井候補領域を構成する画素として統合する（ステップＳ３５）。なお、ヒストグラムの類似度を判定する手法としては、例えば、バタチャリア距離を演算する手法を用いることができるが、これに限定されるものではない。

図９は、図６に示す画像情報２４０に対して、天井候補領域６０，６１を抽出した様子を示す図である。

図９に示すように、天井照明領域７０ないし７６の周囲に配置された統合用ブロックのヒストグラムについて、類似する統合用ブロックに含まれる画素を統合した結果、天井候補領域６０が抽出されている。また、天井照明領域７７の周囲に配置された統合用ブロックのヒストグラムについて、類似する統合用ブロックに含まれる画素を統合した結果、天井候補領域６１が抽出されている。なお、天井候補領域６０と天井候補領域６１との境は、天井候補領域６０の周縁部５として検出されている。

多数の天井照明領域として検出された天井照明領域７０ないし７６は、いずれも照明９４に相当する画素の領域であり、天井９０に相当する画素が周囲に存在する。したがって、天井照明領域７０ないし７６の周囲に配置された統合用ブロックのヒストグラムは互いに類似し、これらの統合用ブロックを構成する画素が１つの天井候補領域６０に統合される。

また、天井照明領域７７は、照明９４に相当する画素ではない画素の領域であるが、たまたま周囲に第１壁面９１に相当する画素が存在している。したがって、天井照明領域７７の周囲に配置された統合用ブロックのヒストグラムは互いに類似し、これらの統合用ブロックを構成する画素が１つの天井候補領域６１に統合される。天井候補領域６１は、天井照明領域７７が誤検出され、かつ、天井照明領域７７の周囲に配置された複数の統合用ブロックのヒストグラムが互いに類似するような被写体（第１壁面９１）が当該天井照明領域７７の周囲に撮像されていたために誤検出されたものである。

しかし、例えば、天井照明領域７７以外に誤検出された天井照明領域が存在したとしても、その周囲に配置された複数の統合用ブロックのヒストグラムが互いに類似するような被写体が当該誤検出された天井照明領域の周囲に撮像されていない場合には、誤検出された天井照明領域によって、天井候補領域が誤検出されることはない。

例えば、机上には卓上の照明装置が設置されることがあり、これが天井照明領域として誤検出される事態は容易に想定される。しかし、一般に、机上には、様々な被写体が混在する。したがって、当該誤検出された天井照明領域の周囲に複数の統合用ブロックを配置した場合、これらのヒストグラムが互いに類似する事態は想定しにくい。すなわち、ステップＳ３４，Ｓ３５を実行することにより、実際の天井９０以外の場所で誤検出された天井照明領域の影響を、かなり排除することができる。

また、天井９０に相当する画素ではない画素を含む統合用ブロックのヒストグラムと、天井９０に相当する画素を含む統合用ブロックのヒストグラムとは、類似しない蓋然性が高い。すなわち、統合用ブロックのヒストグラムの類似度によって当該統合用ブロックに含まれる画素の統合を行うことにより、天井候補領域６０が天井９０に相当する画素ではない画素の領域まで拡大（統合）されることも防止される。したがって、例えば、図９に示す天井候補領域６１が抽出されない場合でも、天井候補領域６０さえ検出されていれば、当該天井候補領域６０の周縁部５は検出される。

図７に戻って、ステップＳ３５を実行すると、境界検出部３００は、天井候補領域が複数検出されたか否かを判定する（ステップＳ３６）。

ステップＳ３５によって検出された天井候補領域が１つの場合（ステップＳ３６においてＮｏ。）、当該天井候補領域を天井領域として決定する（ステップＳ３７）。

一方で、ステップＳ３５によって検出された天井候補領域が複数の場合（ステップＳ３６においてＹｅｓ。）、境界検出部３００は、検出された各天井候補領域をラスタースキャンするためのスキャンブロックを定義する。このとき定義されるスキャンブロックは４以上の画素を含むサイズとして定義され、当該スキャンブロックには縦方向および横方向にそれぞれ２分割された４つの分割領域が定義される。すなわち、４つの分割領域は、それぞれが１以上の画素から成り、スキャンブロック内において２行２列に配置される。

次に、境界検出部３００は、定義したスキャンブロックを用いて、各天井候補領域をそれぞれラスタースキャンし（ステップＳ３８）、各天井候補領域にカウント条件を満たす回数をカウントする。ここでは、カウント条件は、スキャンブロック内に定義される４つの分割領域のうち、右下に配置される分割領域のみが天井照明領域（高輝度画素領域）となり、他の３つの分割領域が天井候補領域（低輝度画素領域）となった状態とする。このようなカウント条件を満たす回数は、各天井候補領域内に存在する天井照明領域の数に対応して増加するとみなせる。

そこで、境界検出部３００は、検出された複数の天井候補領域のうち、カウントされたカウント条件を満たす回数が最も多かった天井候補領域を天井領域として決定する（ステップＳ３９）。

一般的なオフィスなどでは、天井には多くの照明が設置される。したがって、照明が多く存在しているとみなせる領域を、より天井らしいとみなし、天井領域として決定することにより、複数の天井候補領域の中から、最も天井領域らしい領域を選択することができる。

図９に示す例では、天井候補領域６０の方が天井候補領域６１よりも天井照明領域を多く内包している。したがって、スキャンブロックによるラスタースキャンの結果、天井候補領域６０の方が天井候補領域６１よりもカウントされる回数が多くなる。これにより、ステップＳ３９において天井候補領域６０が天井領域として決定される。このようにして、境界検出部３００は、複数の天井候補領域６０，６１の中から１つの天井領域を決定し、誤検出された天井候補領域６１を除外する。

なお、画像情報２４０において複数の天井候補領域が検出された場合、いずれの天井候補領域を天井領域として決定するかについては、他の手法を用いることもできる。例えば、画像情報２４０内における各天井候補領域の位置関係や、各天井候補領域の形状などから判定することも想定できる。また、このような複数の手法を重畳的に用いて、最も天井領域らしい天井候補領域を決定してもよい。ただし、回転角Δθの大きさによっては、天地が逆転して撮像されることもあり得るため、単純に位置関係のみで決定すると、誤検出を招くおそれもある。

また、カウント条件は上記例に示した条件に限定されるものではない。例えば、スキャンブロック内に定義される４つの分割領域のうち、左下に配置される分割領域のみが天井照明領域（高輝度画素領域）となり、他の３つの分割領域が天井候補領域（低輝度画素領域）となった状態をカウント条件とすることもできる。

ステップＳ３７またはステップＳ３９が実行され、天井領域を決定すると、境界検出部３００は、画像情報２４０から検出した天井領域に基づいて、当該画像情報２４０から境界９３を検出し、境界情報３１２を作成する（ステップＳ４０）。

具体的には、境界検出部３００は、検出した天井領域の周縁部５（画像情報２４０内における、天井領域とその他の領域との境界）と、撮像領域２４１の周縁部との交点（２点存在する。）から、それぞれ仮想の境界線（ただし、周縁部５以外の天井領域内の画素を含まない線）を引き、２本の仮想の境界線のうち、周縁部５と一致する画素の数が多い方を境界９３とみなす。

図９に示す例は、周縁部５が直線として検出されており、いわば理想的な検出例である。このような場合において、周縁部５と、撮像領域２４１の周縁部との交点からそれぞれ仮想の境界線を引くと、２本の仮想の境界線がいずれも周縁部５に一致する（２本の仮想の境界線の傾きが一致する。）。したがって、図９に示す例では、２本の仮想の境界線がそのまま境界９３として検出される。

図１０は、周縁部５が曲線形状として検出された場合の境界９３を決定する様子を示す図である。

まず、天井領域の周縁部５と、撮像領域２４１の周縁部との交点として、点Ａと点Ｂとを決定する。次に、点Ａから仮想の境界線１００を引くとともに、点Ｂから仮想の境界線１０１を引く。先述のように、このようにして引かれた２本の境界線１００，１０１を比較して、周縁部５と一致する画素の数が多い方を境界９３とみなすので、図１０に示す例では、境界線１０１が境界９３として検出される。

なお、図示は省略するが、２本の仮想の境界線の傾きが互いに一致せず、かつ、周縁部５と一致する画素の数が同数であった場合は、２本の仮想の境界線の中間の傾きの仮想の境界線をさらに引き、これを境界９３とする。

境界情報３１２が作成されると、角度検出システム１は、図７に示す境界検出処理を終了して、図５に示す処理に戻る。

図５に戻って、ステップＳ１７の境界検出処理が終了すると、水平方向検出部３０１が、画像情報２４０における水平方向を検出する（ステップＳ１８）。

画像情報２４０における水平方向は、当該画像情報２４０から検出された境界９３の傾きと平行な方向である。言い換えれば、そのように画像情報２４０が撮像されている。また、すでに説明したように、画像情報２４０から検出される境界９３は、当該画像情報２４０において必ず直線である。

したがって、ステップＳ１８において、水平方向検出部３０１は、境界情報３１２を参照することにより、境界検出部３００によって検出された境界９３（厳密には現実の境界９３と一致するとは限らない。）の画像を参照し、当該境界９３の傾きを、画像情報２４０における水平方向として検出する。具体的には、画像情報２４０から検出された境界９３によってＸＹ平面（Ｘ軸およびＹ軸に平行な面）上に描かれる直線の傾きを、画像情報２４０における水平方向として検出し、水平方向情報３１３を作成する。

境界９３によって描かれる直線は、例えば、以下に示す式１で表現できる。

ｙ＝αｘ＋β ・・・ 式１

ただし、式１において、ｘ，ｙはＸ軸およびＹ軸の座標であり、α，βは定数である。

境界９３によって描かれる直線が式１で表現される場合、水平方向検出部３０１は、水平方向情報３１３を「α」とする。

次に、回転角演算部３０２が、水平方向情報３１３に基づいて、以下に示す式２により回転角Δωを演算する（ステップＳ１９）。

Δω＝ａｒｃｔａｎ（α） ・・・ 式２

また、回転角Δωが求まると、回転角演算部３０２は、求めた回転角Δωに基づいて回転角情報３１４を作成する（ステップＳ２０）。

回転角情報３１４が作成されると、角度検出システム１は、解析モードを終了して（ステップＳ２１）、再び、待機状態に戻る。

待機状態において、表示タイミングが到来すると、ＣＰＵ３０がステップＳ２２においてＹｅｓと判定し、画像修正部３０３が修正画像情報を作成する（ステップＳ２３）。

画像修正部３０３は、記憶装置３１に記憶されている回転角情報３１４を読み出して、当該回転角情報３１４に格納されている回転角Δωを取得する。そして、取得した回転角Δωに応じて、画像情報２４０に含まれる各画素の位置を座標変換して、修正画像情報３１１を作成する。したがって、画像情報２４０の画像が回転角Δωを打ち消すように回転した画像（修正画像情報３１１）が作成される。すでに説明したように、回転角Δωは、回転角Δθとみなせるので、修正画像情報３１１は、全方位カメラ２（撮像部２４）の回転角Δθを較正した画像となる。

修正画像情報３１１が作成されると、表示部３３は、修正画像情報３１１を表示する（ステップＳ２４）。これにより、オペレータは、設置時に発生した全方位カメラ２（撮像部２４）の回転角Δθを適切に較正した画像を閲覧することができ、オペレータによる視認性が向上する。

以上のように、角度検出システム１は、天井９０と天井９０に隣接する第１壁面９１との境界９３を画像情報２４０として撮像する撮像部２４と、撮像部２４により撮像された画像情報２４０に撮像されている境界９３を境界情報３１２として検出する境界検出部３００と、境界検出部３００により検出された境界情報３１２に応じて、当該境界９３が検出された画像情報２４０における水平方向を水平方向情報３１３として検出する水平方向検出部３０１と、水平方向検出部３０１により検出された画像情報２４０における水平方向に基づいて、当該画像情報２４０の実空間に対する回転角Δθを演算により推定する回転角演算部３０２とを備える。これにより、画像情報２４０に基づいて、当該画像情報２４０の実空間に対する回転角Δθを求めることができる。したがって、人手を要することなく、負担を軽減することができる。

また、境界検出部３００は、撮像部２４により撮像された画像情報２４０から天井９０が撮像されている天井領域を検出し、検出した当該天井領域の周縁部５に応じて境界９３を検出する。これにより、容易に、かつ、精度よく境界９３を検出することができる。

また、境界検出部３００は、撮像部２４により撮像された画像情報２４０に含まれる各画素の画素値（輝度値）に応じて、照明９４が撮像されている天井照明領域を検出することにより、天井領域を検出する。これにより、照明９４を示す蓋然性の高い天井照明領域に基づいて、照明９４が設置されている天井９０を示す天井領域を検出することで、天井領域の検出精度が向上する。

また、境界検出部３００は、撮像部２４により撮像された画像情報２４０において、当該画像情報２４０から検出した天井照明領域の周囲の領域を所定数の画素を含む統合用ブロックに分割し、当該統合用ブロックに含まれる画素の画素値によるヒストグラムを統合用ブロックごとに求め、これら統合用ブロックのヒストグラムの類似度に応じて天井領域を検出する。これにより、誤検出された天井照明領域を排除することができる。

また、回転角演算部３０２により演算された回転角Δθに応じて、画像情報２４０を回転させた修正画像情報３１１を作成する画像修正部３０３をさらに備えることにより、実空間に対して忠実な画像に関する情報を作成することができる。

なお、図６に示す画像情報２４０ａには、第１壁面９１と床面９５との境界９６も撮像されている。そして、境界９６の画像情報２４０ａ内における傾きも境界９３の場合と同様に、回転角Δθを推定するために用いることができる。しかし、通常、部屋９の床面９５には様々な物体が置かれるため、これらの物体によって境界９６が遮られる。すなわち、境界９６は、撮像部２４により確実に撮像されるとは限らない。したがって、境界９６を検出するのではなく、角度検出システム１のように境界９３を検出するように構成することが好ましい。

＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られる範囲内において、適宜、順序や内容が変更されてもよい。

また、上記実施の形態に示した機能ブロック（例えば、境界検出部３００や水平方向検出部３０１など）は、ＣＰＵ３０がプログラム３１０に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。

また、閲覧装置３が備える機能ブロックのうちの一部が全方位カメラ２に設けられていてもよい。例えば、回転角Δωを全方位カメラ２のＣＰＵ２０が演算するとともに、画像情報２４０を修正した修正画像情報３１１に相当する情報を作成してから、閲覧装置３に向けて当該情報を送信するように構成してもよい。

また、全方位カメラ２および閲覧装置３が一体的な装置によって構成されていてもよい。すなわち、角度検出システム１は、必ずしもネットワーク８によって複数の装置が接続される形態に限定されるものではない。

また、角度検出システム１は、回転角演算部３０２によって演算された回転角情報３１４に応じて、全方位カメラ２の撮像部２４を回転させることにより、撮像部２４の姿勢を較正する回転機構をさらに備えていてもよい。すなわち、回転角情報３１４を全方位カメラ２に向けて送信し、ＣＰＵ２０が当該回転機構を制御して、撮像部２４のＺ軸を中心軸として当該撮像部２４を回転角情報３１４に応じて回転させることにより、撮像部２４の水平方向（姿勢）を較正してもよい。このように構成することにより、調整後は、実空間に対して忠実な画像情報２４０を撮像することができる。

また、閲覧装置３は、所定の時間間隔で回転角Δωを演算し、検出した回転角Δωの絶対値が閾値以下となったときに、較正不要を示す一致情報を全方位カメラ２に向けて送信するようにしてもよい。この場合、全方位カメラ２は、当該一致情報を受信したときに、表示部２３にその旨を示す情報を表示してもよい。表示の仕方としては、例えば、一致情報を受信したときに、表示部２３のランプの光を「赤」から「緑」に変更するなどが想定される。この場合、設置工事担当者は、表示部２３のランプが「緑」になるまでは、全方位カメラ２の姿勢を動かし、当該ランプが「緑」になったことを確認したときに、その姿勢で全方位カメラ２を固定し設置するようにする。このように構成することにより、設置工事担当者は、直接、閲覧装置３の表示部３３を閲覧して画像情報２４０を確認する必要がなく、設置工事担当者の負担が軽減されるとともに、全方位カメラ２に回転機構などを設ける必要もない。

１ 角度検出システム
２ 全方位カメラ
２０，３０ ＣＰＵ
２１，３１ 記憶装置
２１０，３１０ プログラム
２２，３２ 操作部
２３，３３ 表示部
２４ 撮像部
２４０，２４０ａ 画像情報
２４１ 撮像領域
２５，３５ 通信部
３ 閲覧装置
３００ 境界検出部
３０１ 水平方向検出部
３０２ 回転角演算部
３０３ 画像修正部
３１１ 修正画像情報
３１２ 境界情報
３１３ 水平方向情報
３１４ 回転角情報
５ 周縁部
６０，６１ 天井候補領域
７０，７１，７２，７３，７４，７５，７６，７７ 天井照明領域
８ ネットワーク
９ 部屋
９０ 天井
９１ 第１壁面
９２ 第２壁面
９３，９６ 境界
９４ 照明
９５ 床面

Claims (9)

1. 天井と前記天井に隣接する第１壁面との境界を画像情報として撮像する撮像手段と、
   前記撮像手段により撮像された画像情報に撮像されている前記境界を検出する境界検出手段と、
   前記境界検出手段により検出された境界に応じて、当該境界が検出された画像情報における水平方向αを検出する水平方向検出手段と、
   前記水平方向検出手段により検出された画像情報における水平方向αに基づいて、当該画像情報の実空間に対する回転角Δωを演算する回転角演算手段と、
   を備え、
   前記撮像手段は、前記第１壁面に対向する第２壁面に設置された全方位カメラである角度検出システム。
2. 請求項１に記載の角度検出システムであって、
   前記境界検出手段は、前記撮像手段により撮像された画像情報から前記天井が撮像されている天井領域を検出し、検出した前記天井領域の周縁部に応じて前記境界を検出する角度検出システム。
3. 請求項２に記載の角度検出システムであって、
   前記境界検出手段は、前記撮像手段により撮像された画像情報に含まれる各画素の画素値に応じて、照明が撮像されている照明領域を検出することにより、前記天井領域を検出する角度検出システム。
4. 請求項３に記載の角度検出システムであって、
   前記境界検出手段は、前記撮像手段により撮像された画像情報において、当該画像情報から検出した照明領域の周囲の領域を所定数の画素を含むブロックに分割し、前記ブロックに含まれる画素の画素値によるヒストグラムを前記ブロックごとに求め、前記ブロックのヒストグラムの類似度に応じて前記天井領域を検出する角度検出システム。
5. 請求項１ないし４のいずれかに記載の角度検出システムであって、
   前記回転角演算手段により演算された回転角Δωに応じて、前記画像情報を回転させた修正画像情報を作成する画像修正手段をさらに備える角度検出システム。
6. 請求項１ないし５のいずれかに記載の角度検出システムであって、
   前記回転角演算手段により演算された回転角Δωに応じて、前記撮像手段における水平方向αを回転させる回転手段をさらに備える角度検出システム。
7. 請求項１ないし６のいずれかに記載の角度検出システムであって、
   前記回転角演算手段は、前記水平方向検出手段により検出された画像情報における水平方向αに基づいて、Δω＝ａｒｃｔａｎ（α）を演算することにより前記回転角Δωを演算する角度検出システム。
8. コンピュータ読み取り可能なプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータを、
   天井と前記天井に隣接する第１壁面との境界を画像情報として撮像する撮像手段と、
   前記撮像手段により撮像された画像情報に撮像されている前記境界を検出する境界検出手段と、
   前記境界検出手段により検出された境界に応じて、当該境界が検出された画像情報における水平方向αを検出する水平方向検出手段と、
   前記水平方向検出手段により検出された画像情報における水平方向αに基づいて、当該画像情報の実空間に対する回転角Δωを演算する回転角演算手段と、
   を備え、
   前記撮像手段は、前記第１壁面に対向する第２壁面に設置された全方位カメラである角度検出システムとして機能させるプログラム。
9. 天井に隣接する第１壁面に対向する第２壁面に設置された全方位カメラによって、前記天井と前記第１壁面との境界を画像情報として撮像する工程と、
   撮像された画像情報に撮像されている前記境界を検出する工程と、
   検出された境界に応じて、当該境界が検出された画像情報における水平方向αを検出する工程と、
   検出された画像情報における水平方向αに基づいて、当該画像情報の実空間に対する回転角Δωを演算する工程と、
   を有する角度検出方法。

Images