JP7237520B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP7237520B2 JP7237520B2 JP2018201368A JP2018201368A JP7237520B2 JP 7237520 B2 JP7237520 B2 JP 7237520B2 JP 2018201368 A JP2018201368 A JP 2018201368A JP 2018201368 A JP2018201368 A JP 2018201368A JP 7237520 B2 JP7237520 B2 JP 7237520B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- camera
- information
- interest
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
近年、ネットワークカメラを利用した監視システムが広く普及している。このような監視システムとして、広域を撮像可能な全方位カメラ等の広域カメラと、パン機構、チルト機構およびズーム機構を備えたＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）カメラとを連携させるカメラ連携機能を備えた監視システムがある。カメラ連携機能は、ユーザが全方位カメラの撮像画像（映像）から選択した注目点を注視点としてＰＴＺカメラが撮像するように、ＰＴＺカメラの撮像方向を制御し、ＰＴＺカメラにて撮像された撮像画像を拡大表示する機能である。
このようなカメラ連携機能を実現する監視システムでは、運用開始前にキャリブレーションを実施して、複数のカメラの相対的な位置関係を把握し、それぞれのカメラの撮像画像間の位置合わせを行うのが一般的である。このカメラの位置関係をもとに、全方位カメラの座標系における注目点が、ＰＴＺカメラの座標系においてどの位置に相当するかを計算し、ＰＴＺカメラに対して撮像方向の変更指示を出す。
しかしながら、２次元平面である撮像画像からは奥行情報を取得できないため、撮像画像から注目点を指定した場合、注目点の三次元的な位置を算出することができない。そのため、例えば全方位カメラがドアの手前に立つ人物をドアの正面から撮像し、撮像画像においてその人物の顔を注目点として選択した場合、ドアの横方向から撮像するＰＴＺカメラは、人物の顔とドアのどちらを注視点とすればよいのか判断が付かない。また、人のように動き回る動体の場合、運用開始前に位置合わせをしておくことは難しい。
特許文献１には、カメラから撮像対象までの距離を取得し、奥行情報を得る方法として、距離センサを使用する方法や、カメラのフォーカス位置を取得する方法が開示されている。
しかしながら、２次元平面である撮像画像からは奥行情報を取得できないため、撮像画像から注目点を指定した場合、注目点の三次元的な位置を算出することができない。そのため、例えば全方位カメラがドアの手前に立つ人物をドアの正面から撮像し、撮像画像においてその人物の顔を注目点として選択した場合、ドアの横方向から撮像するＰＴＺカメラは、人物の顔とドアのどちらを注視点とすればよいのか判断が付かない。また、人のように動き回る動体の場合、運用開始前に位置合わせをしておくことは難しい。
特許文献１には、カメラから撮像対象までの距離を取得し、奥行情報を得る方法として、距離センサを使用する方法や、カメラのフォーカス位置を取得する方法が開示されている。
しかしながら、上記特許文献１に記載の技術のように距離センサを使用して奥行情報を得る方法はコストが嵩む。また、カメラのフォーカス位置を取得して奥行情報を得る方法は、全方位レンズなどには適用が困難であり、精度も良くない。
そこで、本発明は、撮像画像における注目点の三次元的な位置を低コストで適切に導出することを課題としている。
そこで、本発明は、撮像画像における注目点の三次元的な位置を低コストで適切に導出することを課題としている。
上記課題を解決するために、本発明に係る情報処理装置の一態様は、第一の撮像装置により撮像された撮像画像における床面領域の位置および壁面領域の位置を特定するための領域情報を取得する第一の取得手段と、前記撮像画像における注目点の位置を示す位置情報を取得する第二の取得手段と、前記第一の取得手段により取得された領域情報と、前記第二の取得手段により取得された位置情報と、を用いて、前記注目点に対応する注目物体が床面に存在する物体であるか壁面に存在する物体であるかを判定し、当該判定の結果に基づいて、前記注目点の三次元的な位置を導出する導出手段と、を備える。
本発明によれば、撮像画像における注目点の三次元的な位置を低コストで適切に導出することができる。
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
本実施形態では、複数の撮像装置を連携させて物体を撮像する撮像システムとして、ネットワークカメラを利用した監視システムについて説明する。
ネットワークカメラは、大規模な公共機関や量販店における監視カメラとして幅広い分野で利用されており、様々な運用方法がある。また、ネットワークカメラは、運用形態に合わせるために様々な機能的特徴をもったものが存在する。例えばパン・チルトといった撮像方向を自在に変更できるネットワークカメラや、撮像方向は変更できないが高倍率のズーム撮像が可能なネットワークカメラ、魚眼レンズを搭載し広い範囲を一度に監視可能なネットワークカメラ（全方位カメラ）が存在する。
このようなネットワークカメラのうち、全方位カメラは、非常に広い視野角を持つ一方で、カメラから離れた場所では割り当てられた画素数が少なく、解像度が落ちてしまうという特徴がある。そのため、全方位カメラは、人の顔や車のナンバープレートといった詳細な情報を取得することには向いていない。そのような欠点を補うため、全方位カメラとパン・チルト・ズーム機能を持つカメラ（ＰＴＺカメラ）とを連携させるようなカメラ連携機能がある。つまり、全方位カメラで広い範囲を一度に監視し、その映像中で特に注目すべき点（注目点）をＰＴＺカメラが撮像し、当該注目点を拡大表示して詳細情報を取得する。
ネットワークカメラは、大規模な公共機関や量販店における監視カメラとして幅広い分野で利用されており、様々な運用方法がある。また、ネットワークカメラは、運用形態に合わせるために様々な機能的特徴をもったものが存在する。例えばパン・チルトといった撮像方向を自在に変更できるネットワークカメラや、撮像方向は変更できないが高倍率のズーム撮像が可能なネットワークカメラ、魚眼レンズを搭載し広い範囲を一度に監視可能なネットワークカメラ（全方位カメラ）が存在する。
このようなネットワークカメラのうち、全方位カメラは、非常に広い視野角を持つ一方で、カメラから離れた場所では割り当てられた画素数が少なく、解像度が落ちてしまうという特徴がある。そのため、全方位カメラは、人の顔や車のナンバープレートといった詳細な情報を取得することには向いていない。そのような欠点を補うため、全方位カメラとパン・チルト・ズーム機能を持つカメラ（ＰＴＺカメラ）とを連携させるようなカメラ連携機能がある。つまり、全方位カメラで広い範囲を一度に監視し、その映像中で特に注目すべき点（注目点）をＰＴＺカメラが撮像し、当該注目点を拡大表示して詳細情報を取得する。
本実施形態では、複数の撮像装置を備える撮像システムにおいて、全方位カメラにより撮像された撮像画像から注目点が指定された場合、ＰＴＺカメラに対して当該注目点を注視点とした撮像を指示する。本実施形態では、全方位カメラの撮像画像における床面等の平面領域と、当該平面領域に対応する実空間上の平面からの注目点の高さとを定めておき、これらの情報をもとに、注目点の三次元的な位置を導出する。これにより、カメラ連携機能において、全方位カメラと連携するＰＴＺカメラに対して適切な撮像位置を指示することができる。
（第一の実施形態）
図１は、本実施形態における撮像システム１０００のシステム構成例を示す図である。本実施形態における撮像システム１０００は、２台の撮像装置１００Ａ、１００Ｂを連携させて監視対象となる注目物体を撮像するカメラ連携システムである。
撮像システム１０００においては、撮像装置１００Ａ、１００Ｂの位置関係を把握するために、運用開始前にキャリブレーションが実施される。本実施形態では、撮像システム１０００は、このキャリブレーション時にマーカーを使用した床面設定処理を実施して、撮像装置１００Ａの撮像画像における床面（地面）や壁面といった平面領域を設定する。運用開始後は、撮像システム１０００は、撮像装置１００Ａの撮像画像から指定された注目点の三次元的な位置を導出し、導出した注目点を注視点として、撮像装置１００Ｂに撮像させる処理を行う。具体的には、注目点が人物の顔である場合、撮像システム１０００は、床面からの高さが人物の推定身長となる点を注目点（注視点）として算出し、撮像装置１００Ｂの撮像方向を制御する撮像方向指示処理を実施する。
なお、注目点は人物の顔に限定されない。注目点は、人物の顔以外の一部であってもよいし、人物の全身であってもよい。また、注目点は、人物以外の物体（例えば車両や窓）であってもよい。
図１は、本実施形態における撮像システム１０００のシステム構成例を示す図である。本実施形態における撮像システム１０００は、２台の撮像装置１００Ａ、１００Ｂを連携させて監視対象となる注目物体を撮像するカメラ連携システムである。
撮像システム１０００においては、撮像装置１００Ａ、１００Ｂの位置関係を把握するために、運用開始前にキャリブレーションが実施される。本実施形態では、撮像システム１０００は、このキャリブレーション時にマーカーを使用した床面設定処理を実施して、撮像装置１００Ａの撮像画像における床面（地面）や壁面といった平面領域を設定する。運用開始後は、撮像システム１０００は、撮像装置１００Ａの撮像画像から指定された注目点の三次元的な位置を導出し、導出した注目点を注視点として、撮像装置１００Ｂに撮像させる処理を行う。具体的には、注目点が人物の顔である場合、撮像システム１０００は、床面からの高さが人物の推定身長となる点を注目点（注視点）として算出し、撮像装置１００Ｂの撮像方向を制御する撮像方向指示処理を実施する。
なお、注目点は人物の顔に限定されない。注目点は、人物の顔以外の一部であってもよいし、人物の全身であってもよい。また、注目点は、人物以外の物体（例えば車両や窓）であってもよい。
撮像システム１０００は、撮像装置１００Ａと、撮像装置１００Ｂと、クライアント装置２００と、を備える。撮像装置１００Ａ、１００Ｂとクライアント装置２００とは、それぞれネットワーク３００によって相互に通信可能に接続されている。ネットワーク３００は、カメラ１００Ａ、１００Ｂとクライアント装置２００との間で通信可能な構成であれば、その通信規格、規模および構成は問わない。また、ネットワーク３００への物理的な接続形態は、有線であってもよいし、無線であってもよい。
撮像装置１００Ａおよび１００Ｂは、ネットワークカメラ（以下、単に「カメラ」という。）である。本実施形態において、カメラ１００Ａは全方位カメラ、カメラ１００ＢはＰＴＺカメラである。カメラ１００Ａおよび１００Ｂは、壁面や天井等に設置することができ、１枚以上の画像を含む映像を撮像するカメラとすることができる。なお、カメラ１００Ａおよび１００Ｂは、ＰｏＥ（Ｐｏｗｅｒ Ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（登録商標））に対応していてもよいし、ＬＡＮケーブル等を介して電力が供給される構成でもよい。また、図１では、２台のカメラ１００Ａ、１００Ｂがネットワーク３００に接続されているが、ネットワーク３００には２台以上のカメラが接続されていればよく、接続台数は図１に示す数に限定されない。
本実施形態では、カメラ１００Ａが、上記の床面設定処理および撮像方向指示処理を実行する情報処理装置として動作する場合について説明する。なお、本実施形態では、カメラ１００Ａが情報処理装置として動作する場合について説明するが、クライアント装置２００や撮像装置１００Ｂが情報処理装置として動作してもよい。
本実施形態では、カメラ１００Ａが、上記の床面設定処理および撮像方向指示処理を実行する情報処理装置として動作する場合について説明する。なお、本実施形態では、カメラ１００Ａが情報処理装置として動作する場合について説明するが、クライアント装置２００や撮像装置１００Ｂが情報処理装置として動作してもよい。
図２は、ＰＴＺカメラであるカメラ１００Ｂのハードウェア構成例である。
カメラ１００Ｂは、撮像光学部１０１と、撮像素子部１０２と、ＣＰＵ１０３と、ＲＯＭ１０４と、ＲＡＭ１０５と、撮像系制御部１０６と、ＰＴ制御部１０７と、画像処理部１０８と、エンコーダ部１０９と、通信部１１０と、を備える。
撮像光学部１０１は、対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り等を備え、被写体の光情報を撮像素子部１０２へ集光する。
撮像素子部１０２は、撮像光学部１０１にて集光された光情報を電気信号へと変換するＣＣＤまたはＣＭＯＳセンサといった撮像素子を備え、カラーフィルタなどと組み合わせることで色情報を取得する。また、撮像素子部１０２は、すべての画素に対して、任意の露光時間とゲインの調整が設定可能な撮像センサを用いた構成とすることができる。
カメラ１００Ｂは、撮像光学部１０１と、撮像素子部１０２と、ＣＰＵ１０３と、ＲＯＭ１０４と、ＲＡＭ１０５と、撮像系制御部１０６と、ＰＴ制御部１０７と、画像処理部１０８と、エンコーダ部１０９と、通信部１１０と、を備える。
撮像光学部１０１は、対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り等を備え、被写体の光情報を撮像素子部１０２へ集光する。
撮像素子部１０２は、撮像光学部１０１にて集光された光情報を電気信号へと変換するＣＣＤまたはＣＭＯＳセンサといった撮像素子を備え、カラーフィルタなどと組み合わせることで色情報を取得する。また、撮像素子部１０２は、すべての画素に対して、任意の露光時間とゲインの調整が設定可能な撮像センサを用いた構成とすることができる。
ＣＰＵ１０３は、カメラ１００Ｂにおける動作を統括的に制御する。ＲＯＭ１０４は、ＣＰＵ１０３が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、不図示の外部メモリや着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ１０５は、ＣＰＵ１０３の主メモリ、ワークエリア等として機能する。ＲＯＭ１０４やＲＡＭ１０５は、画質調整のパラメータやネットワークの設定といった設定値を格納することができ、再起動した場合でも以前設定した値を用いて起動することが可能である。
ＣＰＵ１０３は、処理の実行に際してＲＯＭ１０４から必要なプログラム等をＲＡＭ１０５にロードし、当該プログラム等を実行することで各種の機能動作を実現する。例えばＣＰＵ１０３は、露出を制御するＡＥ（Automatic Exposure）制御や、フォーカスを制御するＡＦ（Autofocus）制御等を撮像系制御部１０６に指示することができる。
ＣＰＵ１０３は、処理の実行に際してＲＯＭ１０４から必要なプログラム等をＲＡＭ１０５にロードし、当該プログラム等を実行することで各種の機能動作を実現する。例えばＣＰＵ１０３は、露出を制御するＡＥ（Automatic Exposure）制御や、フォーカスを制御するＡＦ（Autofocus）制御等を撮像系制御部１０６に指示することができる。
撮像系制御部１０６は、ＣＰＵ１０３からの指示に従って、撮像光学部１０１に対して、フォーカスレンズを駆動しフォーカスを合わせる制御、絞りを調整する露出制御、ズームレンズを駆動してズーム倍率を変更する制御を行う。
ＰＴ制御部１０７は、不図示のカメラ姿勢駆動部を制御することでカメラ１００Ｂのパン、チルトを制御する。ＰＴ制御部１０７は、クライアント装置２００やカメラ１００Ａ等の他のカメラから送信されるカメラ操作コマンドに従って、カメラ１００Ｂのパン、チルトを制御することもできる。
ＰＴ制御部１０７は、不図示のカメラ姿勢駆動部を制御することでカメラ１００Ｂのパン、チルトを制御する。ＰＴ制御部１０７は、クライアント装置２００やカメラ１００Ａ等の他のカメラから送信されるカメラ操作コマンドに従って、カメラ１００Ｂのパン、チルトを制御することもできる。
画像処理部１０８は、撮像素子部１０２から出力される画像信号を入力し、入力した画像信号に対して画像処理を行い、輝度信号と色差信号を生成する。
エンコーダ部１０９は、画像処理部１０８において画像処理された画像データをＪｐｅｇやＨ．２６４などの所定のフォーマットに変換する処理を行う。
通信部１１０は、カメラ１００Ａ等の他のカメラやクライアント装置２００との通信の処理を行う。本実施形態では、通信部１１０は、エンコーダ部１０９により変換された画像データを、ネットワーク３００を経由してクライアント装置２００へ配信する。また、通信部１１０は、クライアント装置２００やカメラ１００Ａからの各種コマンドを受信し、受信したコマンドに対するレスポンスや画像データ以外の必要なデータの送信を行う。
エンコーダ部１０９は、画像処理部１０８において画像処理された画像データをＪｐｅｇやＨ．２６４などの所定のフォーマットに変換する処理を行う。
通信部１１０は、カメラ１００Ａ等の他のカメラやクライアント装置２００との通信の処理を行う。本実施形態では、通信部１１０は、エンコーダ部１０９により変換された画像データを、ネットワーク３００を経由してクライアント装置２００へ配信する。また、通信部１１０は、クライアント装置２００やカメラ１００Ａからの各種コマンドを受信し、受信したコマンドに対するレスポンスや画像データ以外の必要なデータの送信を行う。
なお、図１に示すカメラ１００Ｂの各要素の一部の機能は、ＣＰＵ１０３がプログラムを実行することで実現することもできる。
また、全方位カメラであるカメラ１００Ａは、フォーカスレンズを省略したパンフォーカスカメラである。そのため、カメラ１００Ａのハードウェア構成は、上述したズームレンズやＰＴ制御部１０７を省略した構成となっていることを除いては、図２に示すカメラ１００Ｂのハードウェア構成を同様である。
また、全方位カメラであるカメラ１００Ａは、フォーカスレンズを省略したパンフォーカスカメラである。そのため、カメラ１００Ａのハードウェア構成は、上述したズームレンズやＰＴ制御部１０７を省略した構成となっていることを除いては、図２に示すカメラ１００Ｂのハードウェア構成を同様である。
クライアント装置２００は、例えば、パーソナルコンピュータ（ＰＣ）やモバイル端末などの汎用コンピュータと、画像を表示可能なモニタと、を備える表示装置とすることができる。
図３は、クライアント装置２００のハードウェア構成例である。
クライアント装置２００は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、操作入力部２０５と、通信部２０６と、表示部２０７と、を備える。
ＣＰＵ２０１は、クライアント装置２００における動作を統括的に制御する。ＲＯＭ２０２は、ＣＰＵ２０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、不図示の外部メモリや着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際してＲＯＭ２０２から必要なプログラム等をＲＡＭ２０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
図３は、クライアント装置２００のハードウェア構成例である。
クライアント装置２００は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、操作入力部２０５と、通信部２０６と、表示部２０７と、を備える。
ＣＰＵ２０１は、クライアント装置２００における動作を統括的に制御する。ＲＯＭ２０２は、ＣＰＵ２０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、不図示の外部メモリや着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際してＲＯＭ２０２から必要なプログラム等をＲＡＭ２０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
ＨＤＤ２０４は、ＣＰＵ２０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶することができる。また、ＨＤＤ２０４は、ＣＰＵ２０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等を記憶することができる。
操作入力部２０５は、電源ボタンや、キーボードやマウス等の操作デバイスを備え、ユーザからの指示入力を受け付けることができる。通信部２０６は、カメラ１００Ａおよび１００Ｂから送信される画像をネットワーク３００経由で受信する。また、通信部２０６は、各種コマンドをカメラ１００Ａおよび１００Ｂへ送信し、そのレスポンスや画像データ以外の必要なデータの受信を行う。表示部２０７は、液晶ディスプレイ（ＬＣＤ）等のモニタを備え、カメラ１００Ａおよび１００Ｂの各種制御パラメータ入力のためのグラフィカルユーザインタフェース（ＧＵＩ）を表示することができる。
なお、図１に示すクライアント装置２００の各要素の一部の機能は、ＣＰＵ２０１がプログラムを実行することで実現することもできる。
操作入力部２０５は、電源ボタンや、キーボードやマウス等の操作デバイスを備え、ユーザからの指示入力を受け付けることができる。通信部２０６は、カメラ１００Ａおよび１００Ｂから送信される画像をネットワーク３００経由で受信する。また、通信部２０６は、各種コマンドをカメラ１００Ａおよび１００Ｂへ送信し、そのレスポンスや画像データ以外の必要なデータの受信を行う。表示部２０７は、液晶ディスプレイ（ＬＣＤ）等のモニタを備え、カメラ１００Ａおよび１００Ｂの各種制御パラメータ入力のためのグラフィカルユーザインタフェース（ＧＵＩ）を表示することができる。
なお、図１に示すクライアント装置２００の各要素の一部の機能は、ＣＰＵ２０１がプログラムを実行することで実現することもできる。
以下、情報処理装置において実行される床面設定処理について詳細に説明する。なお、本実施形態では、カメラ１００Ａが床面設定処理を実行する場合について説明するが、クライアント装置２００やカメラ１００Ｂが、カメラ１００Ａから各種情報を取得して床面設定処理を実行してもよい。
本実施形態における床面設定処理は、マーカーを用いて撮像画像における床面領域を設定する処理である。なお、カメラ１００Ａとカメラ１００Ｂとの相対的な位置関係は、カメラ設置時のキャリブレーションにより計測されており、床面からのカメラの高さも設置環境の設計図面などから得られているものとする。
本実施形態における床面設定処理は、マーカーを用いて撮像画像における床面領域を設定する処理である。なお、カメラ１００Ａとカメラ１００Ｂとの相対的な位置関係は、カメラ設置時のキャリブレーションにより計測されており、床面からのカメラの高さも設置環境の設計図面などから得られているものとする。
図４は、床面設定処理を行うカメラ設置環境の概略図である。
この図４に示すように、床用マーカー４０１と壁用マーカー４０２の２種類の異なるマーカーを用意する。そして、床用マーカー４０１は床面上に水平に、壁用マーカー４０２は壁面上に水平に設置する。それぞれのマーカーは、検出が容易な特徴点として既知のパターンが描かれており、形状、パターンデザイン、色などの違いによって、マーカーの種類（床用／壁用）を検出できるようになっている。
なお、各マーカー４０１および４０２には、２次元バーコード（例えば、ＱＲコード（登録商標））を用いて情報を埋め込むこともできる。この場合、２次元バーコードにマーカーの種類を示す種類情報を埋め込めば、２次元バーコードを解析することでマーカーの種類を判別することができる。さらに、各マーカー４０１および４０２には、既知の長さのパターンを用いることもできる。この場合、検出されたパターンの長さをもとに、カメラ１００Ａとマーカー４０１、４０２との距離を算出することができる。このように、各マーカー４０１および４０２には、マーカー情報として、マーカーの種類を示す情報や、マーカーの設置位置を示す情報を埋め込むことができる。
この図４に示すように、床用マーカー４０１と壁用マーカー４０２の２種類の異なるマーカーを用意する。そして、床用マーカー４０１は床面上に水平に、壁用マーカー４０２は壁面上に水平に設置する。それぞれのマーカーは、検出が容易な特徴点として既知のパターンが描かれており、形状、パターンデザイン、色などの違いによって、マーカーの種類（床用／壁用）を検出できるようになっている。
なお、各マーカー４０１および４０２には、２次元バーコード（例えば、ＱＲコード（登録商標））を用いて情報を埋め込むこともできる。この場合、２次元バーコードにマーカーの種類を示す種類情報を埋め込めば、２次元バーコードを解析することでマーカーの種類を判別することができる。さらに、各マーカー４０１および４０２には、既知の長さのパターンを用いることもできる。この場合、検出されたパターンの長さをもとに、カメラ１００Ａとマーカー４０１、４０２との距離を算出することができる。このように、各マーカー４０１および４０２には、マーカー情報として、マーカーの種類を示す情報や、マーカーの設置位置を示す情報を埋め込むことができる。
カメラ１００Ａは、床用マーカー４０１および壁用マーカー４０２が設置された環境を撮像し、撮像された撮像画像からマーカーを検出する。そして、カメラ１００Ａは、検出されたマーカーに埋め込まれたマーカー情報を抽出し、抽出されたマーカー情報に基づいて、撮像画像における床面領域を示す領域情報と壁面領域を示す領域情報とを取得する。ここで、上記領域情報は、床面領域や壁面領域といった平面領域の撮像画像における位置を示す情報や、当該平面領域の種類を示す情報、マーカーの設置位置（カメラ１００Ａからの距離等）を示す情報を含む。
つまり、床用マーカー４０１および壁用マーカー４０２は、撮像画像における床面領域および壁面領域を識別するための識別情報であるといえる。なお、本実施形態では、識別情報としてマーカーを用いる場合について説明するが、上記に限定されるものではない。識別情報は、撮像画像における平面領域を設定し、当該平面領域の領域情報を取得可能な情報であればよい。
そして、カメラ１００Ａは、撮像画像から平面領域の領域情報を取得すると、取得した領域情報をもとに、カメラ１００Ａの座標系における床面の位置、および壁面の位置を設定する。
つまり、床用マーカー４０１および壁用マーカー４０２は、撮像画像における床面領域および壁面領域を識別するための識別情報であるといえる。なお、本実施形態では、識別情報としてマーカーを用いる場合について説明するが、上記に限定されるものではない。識別情報は、撮像画像における平面領域を設定し、当該平面領域の領域情報を取得可能な情報であればよい。
そして、カメラ１００Ａは、撮像画像から平面領域の領域情報を取得すると、取得した領域情報をもとに、カメラ１００Ａの座標系における床面の位置、および壁面の位置を設定する。
図５は、カメラ１００Ａが実行する床面設定処理のフローチャートである。この図５の処理は、キャリブレーション後、撮像システム１０００の運用開始前に実行される。ただし、図５の処理の開始タイミングは、上記のタイミングに限らない。カメラ１００Ａは、カメラ１００Ａが備えるＣＰＵが必要なプログラムを読み出して実行することにより、図５に示す各処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
まずＳ１において、カメラ１００Ａは、図４に示すようなカメラ設置環境においてマーカーを撮像する。カメラ１００Ａは、画角の広い全方位カメラであるため、カメラ設置環境においてすべてのマーカーを画角に収めて一度に撮像することができる。このＳ１においてカメラ１００Ａが撮像した撮像画像の一例を図６（ａ）に示す。このように、カメラ１００Ａは、設置されたすべての床用マーカー４０１と壁用マーカー４０２とを撮像することができる。
なお、ＰＴＺカメラなどの画角が狭いカメラが床面設定処理を実行する場合は、必要に応じてすべてのマーカーを撮像できるように画角を変更してもよい。ここで、画角の変更は、ユーザが手動で行ってもよい。
なお、ＰＴＺカメラなどの画角が狭いカメラが床面設定処理を実行する場合は、必要に応じてすべてのマーカーを撮像できるように画角を変更してもよい。ここで、画角の変更は、ユーザが手動で行ってもよい。
Ｓ２では、カメラ１００Ａは、Ｓ１において撮像された撮像画像からマーカーを抽出する。このＳ２では、カメラ１００Ａは、図６（ａ）に示すような撮像画像から既知の床用マーカー４０１および壁用マーカー４０２を抽出する。例えばカメラ１００Ａは、予め学習したマーカーのとりうる複数の姿勢情報からパターンマッチングによりマーカーを検出することができる。ただし、マーカーの検出方法は上記に限定されるものではなく、任意の検出方法を用いることができる。
カメラ１００Ａは、撮像画像からマーカーを抽出すると、当該マーカーの撮像画像における位置情報を検出する。説明を簡潔にするため、マーカーを一つだけ記載した撮像画像を図６（ｂ）に示す。この図６（ｂ）に示すように、床用マーカー４０１の位置情報は、撮像画像の中心となるＯｃを原点とした座標（ｒ、Φ）として表すことができる。ここで、撮像画像の中心Ｏｃは、カメラ１００Ａのレンズの中心点と一致する。カメラ１００Ａは、マーカーの撮像画像における位置情報（ｒ、Φ）を検出し、これを保持する。
カメラ１００Ａは、撮像画像からマーカーを抽出すると、当該マーカーの撮像画像における位置情報を検出する。説明を簡潔にするため、マーカーを一つだけ記載した撮像画像を図６（ｂ）に示す。この図６（ｂ）に示すように、床用マーカー４０１の位置情報は、撮像画像の中心となるＯｃを原点とした座標（ｒ、Φ）として表すことができる。ここで、撮像画像の中心Ｏｃは、カメラ１００Ａのレンズの中心点と一致する。カメラ１００Ａは、マーカーの撮像画像における位置情報（ｒ、Φ）を検出し、これを保持する。
次にＳ３において、カメラ１００Ａは、Ｓ２において抽出されたマーカーに埋め込まれたマーカー情報を取得する。そして、カメラ１００Ａは、マーカー情報に含まれるマーカーの種類情報をもとに、抽出されたマーカーが床用マーカー４０１であるか壁用マーカー４０２であるかを判定する。
次にＳ４では、カメラ１００Ａは、マップテーブルを更新する。マップテーブルは、カメラ１００Ａの座標系における床面の位置を示す情報を格納するテーブルである。
次にＳ４では、カメラ１００Ａは、マップテーブルを更新する。マップテーブルは、カメラ１００Ａの座標系における床面の位置を示す情報を格納するテーブルである。
まず、Ｓ３において床用マーカー４０１が検出された場合のマップテーブルの更新方法について説明する。
この場合、Ｓ４において、カメラ１００Ａは、検出された床用マーカー４０１の撮像画像における位置情報をもとに床面領域を設定し、マップテーブルを更新する。
カメラ１００Ａの座標系における床用マーカー４０１の位置は、図７（ａ）に示すように、上述した中心Ｏｃに対応する位置を原点とした仰角Θ1と、床面上での角度Φ1とにより定義することができる。仰角Θ1は、Ｓ２において検出された像高ｒとレンズの投影方式とに基づいて計算することができる。本実施形態では、撮像光学部１０１は、レンズの投影方式として立体射影方式を用いている。したがって、仰角Θ1は、像高ｒにより下記（１）式により求められる。
Θ1＝２×ａｒｃｔａｎ（ｒ／２ｆ） ………（１）
ここで、ｆは撮像光学部１０１における焦点距離である。
このように、床用マーカー４０１の撮像画像における位置情報に基づいて、カメラ１００Ａの座標系における床用マーカー４０１の位置情報（Θ1，Φ1）を一意に求めることができる。
この場合、Ｓ４において、カメラ１００Ａは、検出された床用マーカー４０１の撮像画像における位置情報をもとに床面領域を設定し、マップテーブルを更新する。
カメラ１００Ａの座標系における床用マーカー４０１の位置は、図７（ａ）に示すように、上述した中心Ｏｃに対応する位置を原点とした仰角Θ1と、床面上での角度Φ1とにより定義することができる。仰角Θ1は、Ｓ２において検出された像高ｒとレンズの投影方式とに基づいて計算することができる。本実施形態では、撮像光学部１０１は、レンズの投影方式として立体射影方式を用いている。したがって、仰角Θ1は、像高ｒにより下記（１）式により求められる。
Θ1＝２×ａｒｃｔａｎ（ｒ／２ｆ） ………（１）
ここで、ｆは撮像光学部１０１における焦点距離である。
このように、床用マーカー４０１の撮像画像における位置情報に基づいて、カメラ１００Ａの座標系における床用マーカー４０１の位置情報（Θ1，Φ1）を一意に求めることができる。
図８は、マップテーブルの一例である。この図８に示すように、マップテーブルは、角度パラメータΦと仰角パラメータΘとを関連付けたテーブルであり、仰角パラメータΘには、床面領域として設定された仰角範囲が格納される。つまり、マップテーブルは、カメラ１００Ａの周囲３６０°に対して、床面のある仰角範囲を記述したテーブルである。
マーカーとして床用マーカー４０１が検出され、検出された床用マーカー４０１のカメラ１００Ａの座標系における位置が（Θ1，Φ1）であった場合、角度Φ1において、少なくとも０°からΘ1°の仰角範囲は床面領域であると判断することができる。したがって、この場合、マップテーブルの角度パラメータΦ＝Φ1に対応する仰角パラメータΘには、仰角範囲０～Θ1が格納される。
なお、すでに対応する仰角パラメータΘが格納されている場合には、格納されている仰角パラメータΘの最大値と仰角Θ1とを比較し、仰角Θ1の方が大きい場合、マップテーブルの仰角パラメータΘの最大値を仰角Θ1に更新する。
マーカーとして床用マーカー４０１が検出され、検出された床用マーカー４０１のカメラ１００Ａの座標系における位置が（Θ1，Φ1）であった場合、角度Φ1において、少なくとも０°からΘ1°の仰角範囲は床面領域であると判断することができる。したがって、この場合、マップテーブルの角度パラメータΦ＝Φ1に対応する仰角パラメータΘには、仰角範囲０～Θ1が格納される。
なお、すでに対応する仰角パラメータΘが格納されている場合には、格納されている仰角パラメータΘの最大値と仰角Θ1とを比較し、仰角Θ1の方が大きい場合、マップテーブルの仰角パラメータΘの最大値を仰角Θ1に更新する。
次に、Ｓ３において壁用マーカー４０２が検出された場合のマップテーブルの更新方法について説明する。
この場合、Ｓ４において、カメラ１００Ａは、検出された壁用マーカー４０２の撮像画像における位置情報をもとに床面領域を設定し、マップテーブルを更新する。まず、カメラ１００Ａは、カメラ１００Ａと壁用マーカー４０２との実際の距離Ｗを求める。前述のように、マーカーには、マーカー情報として、既知の長さのパターンを含めることができる。そのため、撮像光学部１０１の焦点距離ｆと上記パターンの撮像画像上の長さｄとを用いて、下記（２）式をもとに距離Ｗを算出することができる。ここで、ｐは既知のパターンの長さである。
Ｗ＝ｐ×ｆ／ｄ ………（２）
この場合、Ｓ４において、カメラ１００Ａは、検出された壁用マーカー４０２の撮像画像における位置情報をもとに床面領域を設定し、マップテーブルを更新する。まず、カメラ１００Ａは、カメラ１００Ａと壁用マーカー４０２との実際の距離Ｗを求める。前述のように、マーカーには、マーカー情報として、既知の長さのパターンを含めることができる。そのため、撮像光学部１０１の焦点距離ｆと上記パターンの撮像画像上の長さｄとを用いて、下記（２）式をもとに距離Ｗを算出することができる。ここで、ｐは既知のパターンの長さである。
Ｗ＝ｐ×ｆ／ｄ ………（２）
次に、カメラ１００Ａは、カメラ１００Ａと壁用マーカー４０２との水平方向における距離Ｄを求める。距離Ｄは、図７（ｂ）に示すように、カメラ１００Ａから下ろした垂線と床面との交点と、壁用マーカー４０２から下ろした垂線と床面との交点との距離である。
Ｄ＝Ｗ×ｓｉｎΘ2 ………（３）
上記（３）式において、Θ2は壁用マーカー４０２までの仰角であり、図７（ａ）に示す床用マーカー４０１までの仰角Θ1と同様に、Ｓ２において検出された像高ｒとレンズの投影方式とに基づいて計算することができる。
最後に、カメラ１００Ａは、カメラ１００Ａと壁用マーカー４０２との水平方向における距離Ｄと、カメラ１００Ａの床面からの高さｈとに基づいて、壁と床との境界部までの仰角Θ3を算出する。
Θ3＝ａｒｃｔａｎ（Ｄ／ｈ） ………（４）
Ｄ＝Ｗ×ｓｉｎΘ2 ………（３）
上記（３）式において、Θ2は壁用マーカー４０２までの仰角であり、図７（ａ）に示す床用マーカー４０１までの仰角Θ1と同様に、Ｓ２において検出された像高ｒとレンズの投影方式とに基づいて計算することができる。
最後に、カメラ１００Ａは、カメラ１００Ａと壁用マーカー４０２との水平方向における距離Ｄと、カメラ１００Ａの床面からの高さｈとに基づいて、壁と床との境界部までの仰角Θ3を算出する。
Θ3＝ａｒｃｔａｎ（Ｄ／ｈ） ………（４）
上記（４）式により算出された仰角Θ3は、床面と壁面との境界位置を示す値であり、図８に示すマップテーブルにおける床面の領域を示す仰角パラメータΘの最大値に対応する。したがって、算出された仰角Θ3を用いてマップテーブルの仰角パラメータΘを更新する。つまり、マーカーとして壁用マーカー４０２が検出され、検出された壁用マーカー４０２のカメラ１００Ａの座標系における位置が（Θ2，Φ2）であった場合、角度Φ2において、仰角Θ2°の位置は床面領域であると判断することができる。したがって、この場合、マップテーブルの角度パラメータΦ＝Φ2に対応する仰角パラメータΘの最大値がΘ2に更新される。
なお、本実施形態では、マップテーブルは、カメラ１００Ａの周囲３６０°に対して、床面のある仰角範囲を記述したテーブルである場合について説明するが、上記に限定されるものではない。例えばマップテーブルは、カメラ１００Ａの周囲３６０°に対して、壁面のある仰角範囲を記述したテーブルであってもよい。この場合、仰角パラメータΘの最小値が、床面と壁面との境界位置を示す値となる。また、マップテーブルは、複数であってもよい。例えばマップテーブルは、床用、壁用など、種類ごとに作成してもよいし、壁の右端部など、領域ごとに作成してもよい。
なお、本実施形態では、マップテーブルは、カメラ１００Ａの周囲３６０°に対して、床面のある仰角範囲を記述したテーブルである場合について説明するが、上記に限定されるものではない。例えばマップテーブルは、カメラ１００Ａの周囲３６０°に対して、壁面のある仰角範囲を記述したテーブルであってもよい。この場合、仰角パラメータΘの最小値が、床面と壁面との境界位置を示す値となる。また、マップテーブルは、複数であってもよい。例えばマップテーブルは、床用、壁用など、種類ごとに作成してもよいし、壁の右端部など、領域ごとに作成してもよい。
図５に戻って、Ｓ５では、カメラ１００Ａは、床面設定処理を終了するか否かを判定する。カメラ１００Ａは、ユーザからの終了指示を受け取ることで床面設定処理を終了すると判定してもよいし、カメラ１００Ａの撮像可能範囲内に存在するマーカーすべてについて処理が終了している場合に、床面設定処理を終了すると判定してもよい。そして、カメラ１００Ａは、床面設定処理を継続すると判定した場合にはＳ１に戻り、床面設定処理を終了すると判定した場合には図５の床面設定処理を終了する。
なお、本実施形態では、カメラ１００Ａとカメラ１００Ｂとの相対的な位置関係は、設置時のキャリブレーションにより計測するとしたが、カメラ１００Ａとカメラ１００Ｂとの相対的な位置関係の計測方法は上記に限定されない。例えば、複数のマーカーをそれぞれカメラ１００Ａ、１００Ｂから予め定められた距離だけ離して設置し、当該マーカーをカメラ１００Ａ、１００Ｂによって撮像することによっても位置関係を計測可能である。
なお、本実施形態では、カメラ１００Ａとカメラ１００Ｂとの相対的な位置関係は、設置時のキャリブレーションにより計測するとしたが、カメラ１００Ａとカメラ１００Ｂとの相対的な位置関係の計測方法は上記に限定されない。例えば、複数のマーカーをそれぞれカメラ１００Ａ、１００Ｂから予め定められた距離だけ離して設置し、当該マーカーをカメラ１００Ａ、１００Ｂによって撮像することによっても位置関係を計測可能である。
次に、情報処理装置において実行される撮像方向指示処理について説明する。なお、本実施形態では、カメラ１００Ａが撮像方向指示処理を実行する場合について説明するが、クライアント装置２００やカメラ１００Ｂが、カメラ１００Ａから各種情報を取得して撮像方向指示処理を実行してもよい。
本実施形態における撮像方向指示処理は、カメラ１００Ａにより撮像された撮像画像において指定された注目点の三次元位置を算出し、当該注目点をカメラ１００Ｂが注視点として撮像するように、カメラ１００Ｂの撮像方向を制御する指示を出す処理である。
本実施形態における撮像方向指示処理は、カメラ１００Ａにより撮像された撮像画像において指定された注目点の三次元位置を算出し、当該注目点をカメラ１００Ｂが注視点として撮像するように、カメラ１００Ｂの撮像方向を制御する指示を出す処理である。
図９は、カメラ１００Ａが実行する撮像方向指示処理のフローチャートである。この図９の処理は、ユーザによりカメラ１００Ａの撮像画像から注目点が指定されたタイミングで実行される。ただし、図９の処理の開始タイミングは、上記のタイミングに限らない。カメラ１００Ａは、カメラ１００Ａが備えるＣＰＵが必要なプログラムを読み出して実行することにより、図９に示す各処理を実現することができる。
まずＳ１１において、カメラ１００Ａは、ユーザが指定したカメラ１００Ａの撮像画像における注目点の位置情報（注目位置情報）を取得する。カメラ１００Ａは、撮像画像をクライアント装置２００へ送信することで、当該撮像画像をクライアント装置２００の表示部２０７に表示させる表示制御を行い、表示部２０７に表示された撮像画像内における注目点の指定を受け付ける。カメラ１００Ａは、ユーザが、クライアント装置２００の表示部２０７に表示された撮像画像上において注目点を指定したとき、指定された注目点の撮像画像における位置情報を取得する。
まずＳ１１において、カメラ１００Ａは、ユーザが指定したカメラ１００Ａの撮像画像における注目点の位置情報（注目位置情報）を取得する。カメラ１００Ａは、撮像画像をクライアント装置２００へ送信することで、当該撮像画像をクライアント装置２００の表示部２０７に表示させる表示制御を行い、表示部２０７に表示された撮像画像内における注目点の指定を受け付ける。カメラ１００Ａは、ユーザが、クライアント装置２００の表示部２０７に表示された撮像画像上において注目点を指定したとき、指定された注目点の撮像画像における位置情報を取得する。
図１０（ａ）および図１０（ｂ）は、クライアント装置２００の表示部２０７に表示されるカメラ１００Ａの撮像画像の一例を示す図である。
図１０（ａ）に示す撮像画像には、床の上に立つ人物５０１が存在する。ユーザが人物５０１の顔を注目点として指定した場合、カメラ１００Ａは、注目点の位置情報として座標（ｒ’，Φ’）を取得する。また、図１０（ｂ）に示すように、ユーザが壁に設置された窓５０２を注目点として指定した場合、カメラ１００Ａは、注目点の位置情報として座標（ｒ’’，Φ’’）を取得する。
図１０（ａ）に示す撮像画像には、床の上に立つ人物５０１が存在する。ユーザが人物５０１の顔を注目点として指定した場合、カメラ１００Ａは、注目点の位置情報として座標（ｒ’，Φ’）を取得する。また、図１０（ｂ）に示すように、ユーザが壁に設置された窓５０２を注目点として指定した場合、カメラ１００Ａは、注目点の位置情報として座標（ｒ’’，Φ’’）を取得する。
図９に戻って、Ｓ１２では、カメラ１００Ａは、注視点の属性を判定する。注視点の属性は、注目点に存在する注目物体が、床面上に存在する物体であるか、それ以外の物体であるかの２種類で定義する。本実施形態では、注視点の属性は、注目点に存在する注目物体が、床面上に存在する人物であるか、壁面上に存在する物体であるかの２種類で定義される。カメラ１００Ａは、注目位置情報と、床面設定処理において作成されたマップテーブルとを用いて、注視点の属性を判定する。以下、属性の判定方法について説明する。
まずカメラ１００Ａは、注目位置情報に基づいて、カメラ１００Ａの座標系における注目点の座標（Φ’，Θ’）を算出する。次にカメラ１００Ａは、マップテーブルを参照し、算出された角度Φ’に最も近い角度パラメータΦを検索し、対応する仰角パラメータΘの最大値を取得する。
次に、カメラ１００Ａは、マップテーブルから得られた仰角パラメータΘの最大値に、予め定められた高さ分を加えた仰角ΘMAXを算出する。
図１１は、仰角ΘMAXの算出方法を説明する図である。注目点が人物の顔である場合、注視点の仰角の最大値は、壁際に立つ人物の顔を注目点として指定した場合の仰角と等しい。壁際に立つ身長ｈ0の人物の顔の位置６００は、カメラ１００Ａから下ろした垂線と床面との交点から距離Ｄだけ離れた位置から、高さｈ0だけ上方の位置となる。
次に、カメラ１００Ａは、マップテーブルから得られた仰角パラメータΘの最大値に、予め定められた高さ分を加えた仰角ΘMAXを算出する。
図１１は、仰角ΘMAXの算出方法を説明する図である。注目点が人物の顔である場合、注視点の仰角の最大値は、壁際に立つ人物の顔を注目点として指定した場合の仰角と等しい。壁際に立つ身長ｈ0の人物の顔の位置６００は、カメラ１００Ａから下ろした垂線と床面との交点から距離Ｄだけ離れた位置から、高さｈ0だけ上方の位置となる。
この図１１に示す注視点の位置６００に対応する仰角ΘMAXは、次式により算出することができる。
ΘMAX＝ａｒｃｔａｎ（（ｈ×ｔａｎΘ3）／（ｈ－ｈ0）） ………（５）
ここで、Θ3は、マップテーブルに格納されている仰角パラメータΘの最大値である。
したがって、注目点の座標値Θ’が、仰角ΘMAXよりも小さい値であれば、注視点の属性は、床面上に存在する人物であると判定することができる。一方、注目点の座標値Θ’が、仰角ΘMAXよりも大きい場合は、注視点の属性が、床面上に存在する人物以外の物体、つまり壁面上に存在する物体であると判定することができる。
ΘMAX＝ａｒｃｔａｎ（（ｈ×ｔａｎΘ3）／（ｈ－ｈ0）） ………（５）
ここで、Θ3は、マップテーブルに格納されている仰角パラメータΘの最大値である。
したがって、注目点の座標値Θ’が、仰角ΘMAXよりも小さい値であれば、注視点の属性は、床面上に存在する人物であると判定することができる。一方、注目点の座標値Θ’が、仰角ΘMAXよりも大きい場合は、注視点の属性が、床面上に存在する人物以外の物体、つまり壁面上に存在する物体であると判定することができる。
図９に戻って、Ｓ１３では、カメラ１００Ａは、注視点の三次元的な位置（注視点位置）を算出する。ユーザは、上述したように、カメラ１００Ａにより撮像された二次元の撮像画像上において、１点を注目点として指定する。この注目点の指定は、実空間上では注目点が存在しうる直線の指定にすぎない。Ｓ１３では、カメラ１００Ａは、Ｓ１２において判定された注視点の属性に応じて、当該注視点の三次元位置を算出する。
図１２（ａ）は、注視点の属性が床面上に存在する人物であると判定された場合の注視点位置の算出方法を説明する図である。カメラ１００Ａの撮像画像から注目点として指定された点は、カメラ１００Ａの視点以外から見ると、図１２（ａ）における直線６０１で示される。この直線６０１は、カメラ１００Ａの撮像条件と、カメラ１００Ａの座標系における注目点の座標（Φ’，Θ’）から得られる。ここで、上記撮像条件は、カメラ１００Ａの撮像方向および撮像画角を含む。
図１２（ａ）は、注視点の属性が床面上に存在する人物であると判定された場合の注視点位置の算出方法を説明する図である。カメラ１００Ａの撮像画像から注目点として指定された点は、カメラ１００Ａの視点以外から見ると、図１２（ａ）における直線６０１で示される。この直線６０１は、カメラ１００Ａの撮像条件と、カメラ１００Ａの座標系における注目点の座標（Φ’，Θ’）から得られる。ここで、上記撮像条件は、カメラ１００Ａの撮像方向および撮像画角を含む。
そして、注目する人物の推定身長が予めｈ0と設定されている場合、直線６０１上の点のうち、床面６０２からｈ0の高さにある点６０３が、注視点としてふさわしい点であると推定される。したがって、カメラ１００Ａは、この点６０３を注視点として三次元位置を算出する。
なお、人物の推定身長ｈ0は、予め設定された固定値であってもよいし、マーカーに埋め込まれたマーカー情報から取得してもよいし、ユーザからの指定を受け付けて取得してもよい。また、注目点が人物の顔以外である場合、上記の高さ情報ｈ0は、実空間上における人物の顔以外の注目点の床面からの高さを示す情報となる。
なお、人物の推定身長ｈ0は、予め設定された固定値であってもよいし、マーカーに埋め込まれたマーカー情報から取得してもよいし、ユーザからの指定を受け付けて取得してもよい。また、注目点が人物の顔以外である場合、上記の高さ情報ｈ0は、実空間上における人物の顔以外の注目点の床面からの高さを示す情報となる。
図１２（ｂ）は、注視点の属性が壁面上に存在する物体であると判定された場合の注視点位置の算出方法を説明する図である。カメラ１００Ａの撮像画像から注目点として指定された点は、カメラ１００Ａの視点以外から見ると、図１２（ｂ）における直線６１１で示される。この直線６１１は、図１２（ａ）の直線６０１と同様に、カメラ１００Ａの撮像条件と、カメラ１００Ａの座標系における注目点の座標（Φ’，Θ’）から得られる。
ここで、注目する物体は、床面上には存在せず、壁面上に存在する。そのため、直線６１１上の点のうち、カメラ１００Ａから床面６０２に下ろした垂線と床面６０２との交点から距離Ｄだけ離れた位置の上方にある点６１３が、注視点としてふさわしい点であると推定される。したがって、カメラ１００Ａは、この点６１３を注視点として三次元位置を算出する。この点６１３は、直線６１１と壁面との交点であり、直線６１１上の点のうち、壁面からの高さが０となる点である。
ここで、注目する物体は、床面上には存在せず、壁面上に存在する。そのため、直線６１１上の点のうち、カメラ１００Ａから床面６０２に下ろした垂線と床面６０２との交点から距離Ｄだけ離れた位置の上方にある点６１３が、注視点としてふさわしい点であると推定される。したがって、カメラ１００Ａは、この点６１３を注視点として三次元位置を算出する。この点６１３は、直線６１１と壁面との交点であり、直線６１１上の点のうち、壁面からの高さが０となる点である。
ここで、カメラ１００Ａから床面６０２に下ろした垂線と床面６０２との交点から壁までの距離Ｄは、上記（３）式により算出することができる。また、床面６０２から注視点６１３までの高さｈ1は、注目点の座標値Θ’を用いて次式により算出することができる。
ｈ1＝ｈ－ｓｉｎΘ’ ………（６）
このように、カメラ１００Ａは、カメラ１００Ａの撮像条件と、撮像画像における注目点の位置情報に基づいて算出される注目点の座標（Φ’，Θ’）とに基づいて、実空間上で注目点が存在しうる直線を導出する。そして、カメラ１００Ａは、導出された直線上の点のうち、注目物体が存在する平面（床面または壁面）からの高さが、予め設定された高さとなる位置を注目点の三次元的な位置として導出する。
ｈ1＝ｈ－ｓｉｎΘ’ ………（６）
このように、カメラ１００Ａは、カメラ１００Ａの撮像条件と、撮像画像における注目点の位置情報に基づいて算出される注目点の座標（Φ’，Θ’）とに基づいて、実空間上で注目点が存在しうる直線を導出する。そして、カメラ１００Ａは、導出された直線上の点のうち、注目物体が存在する平面（床面または壁面）からの高さが、予め設定された高さとなる位置を注目点の三次元的な位置として導出する。
図９に戻って、Ｓ１４では、カメラ１００Ａは、Ｓ１３において算出されたカメラ１００Ａの座標系における注視点位置を、カメラ１００Ｂの座標系へと座標変換する。
次に、Ｓ１５において、カメラ１００Ａは、Ｓ１４において座標変換された注視点位置をカメラ１００Ｂによって撮像するためのカメラ１００Ｂの撮像方向を決定する。そして、カメラ１００Ａは、カメラ１００Ｂの撮像方向を制御するコマンド（パラメータ）を、ネットワーク３００を介してカメラ１００Ｂへ送信し、カメラ１００Ｂに撮像を開始させる。
なお、Ｓ１５においては、カメラ１００Ａは、カメラ１００Ｂの撮像方向に加えて、カメラ１００Ｂの撮像画角を決定し、カメラ１００Ｂに指示してもよい。この場合、カメラ１００Ａは、注目物体がカメラ１００Ｂの撮像画角内に収まるようにズーム倍率を算出する。
次に、Ｓ１５において、カメラ１００Ａは、Ｓ１４において座標変換された注視点位置をカメラ１００Ｂによって撮像するためのカメラ１００Ｂの撮像方向を決定する。そして、カメラ１００Ａは、カメラ１００Ｂの撮像方向を制御するコマンド（パラメータ）を、ネットワーク３００を介してカメラ１００Ｂへ送信し、カメラ１００Ｂに撮像を開始させる。
なお、Ｓ１５においては、カメラ１００Ａは、カメラ１００Ｂの撮像方向に加えて、カメラ１００Ｂの撮像画角を決定し、カメラ１００Ｂに指示してもよい。この場合、カメラ１００Ａは、注目物体がカメラ１００Ｂの撮像画角内に収まるようにズーム倍率を算出する。
以上説明したように、本実施形態における情報処理装置は、カメラ１００Ａにより撮像された撮像画像における平面領域を示す領域情報と、撮像画像における注目点の位置を示す位置情報とを取得する。本実施形態において、上記平面領域は、床面領域と壁面領域とを含む。そして、情報処理装置は、撮像画像における平面領域の領域情報と、撮像画像における注目点の位置情報と、予め設定された高さ情報とに基づいて、注目点の三次元的な位置を導出する。また、情報処理装置は、上記の注目点を注視点として撮像するための、カメラ１００Ａとは異なるカメラ１００Ｂの撮像方向を決定し、カメラ１００Ｂに当該撮像方向を指示する。なお、情報処理装置は、さらにカメラ１００Ｂの撮像画角を決定し、カメラ１００Ｂに撮像画角を指示してもよい。
ここで、注目点は、例えば人物の顔とすることができる。この場合、ユーザは、カメラ１００Ａの撮像画像中の人物の顔を注視点として指定し、情報処理装置は、指定された人物の顔を注視点として設定し、カメラ１００Ｂへ注視点の三次元的な位置情報を送信することが可能となる。これにより、カメラ１００Ｂは、撮像方向を制御して上記注視点を適切に撮像することが可能となる。したがって、カメラのキャリブレーション時に存在しない人物であっても、カメラ１００Ａとカメラ１００Ｂとで連携して適切に撮像することができる。
情報処理装置は、注視点（注目点）の三次元位置の導出に際し、カメラ１００Ａの撮像条件（撮像方向や撮像画角）と、撮像画像における注目点の位置情報とに基づいて、実空間上で注目点が存在しうる直線を導出することができる。そして、情報処理装置は、導出された直線上の点のうち、上記平面領域に対応する実空間上の平面からの高さが、予め設定された高さとなる位置を注目点の三次元的な位置として導出することができる。
具体的には、情報処理装置は、注目点が床面上に存在する人物の顔である場合、導出された直線上の点のうち、床面からの高さが、人物の推定身長に相当する高さとなる位置を注目点の三次元的な位置として導出することができる。また、情報処理装置は、注目点が壁面上に存在する物体である場合、導出された直線上の点のうち、壁面からの高さが０となる位置を注目点の三次元的な位置として導出することができる。
具体的には、情報処理装置は、注目点が床面上に存在する人物の顔である場合、導出された直線上の点のうち、床面からの高さが、人物の推定身長に相当する高さとなる位置を注目点の三次元的な位置として導出することができる。また、情報処理装置は、注目点が壁面上に存在する物体である場合、導出された直線上の点のうち、壁面からの高さが０となる位置を注目点の三次元的な位置として導出することができる。
つまり、情報処理装置は、注目点に存在する注目物体が、床面上に存在する物体（例えば人物）であるか壁面上に存在する物体であるかを判定し、当該判定の結果に基づいて注目点の三次元的な位置を導出する。したがって、注目点の三次元位置を適切に導出することができる。
このように、情報処理装置は、１台のカメラ１００Ａの撮像画像において二次元的に設定された注目点の三次元的な位置を、床面と、床面からの注視点の高さ（例えば人物の推定身長）とを拘束条件とすることで一意に算出することが可能である。したがって、注目点の三次元位置を取得するために距離センサを設ける必要がない。そのため、その分のコストを削減することができる。さらに、全方位カメラのように、フォーカス位置を取得してカメラから注視点までの距離を取得する方法を適用できない場合であっても、適切に注目点の三次元位置を算出することができる。
このように、情報処理装置は、１台のカメラ１００Ａの撮像画像において二次元的に設定された注目点の三次元的な位置を、床面と、床面からの注視点の高さ（例えば人物の推定身長）とを拘束条件とすることで一意に算出することが可能である。したがって、注目点の三次元位置を取得するために距離センサを設ける必要がない。そのため、その分のコストを削減することができる。さらに、全方位カメラのように、フォーカス位置を取得してカメラから注視点までの距離を取得する方法を適用できない場合であっても、適切に注目点の三次元位置を算出することができる。
また、情報処理装置は、撮像画像から平面領域を識別するための識別情報としてマーカーを検出し、マーカーに埋め込まれたマーカー情報に基づいて、平面領域の領域情報を取得する。例えばマーカーに平面領域の種類を示す種類情報が埋め込まれている場合、情報処理装置は、マーカーに埋め込まれたマーカー情報を解析することで、検出されたマーカーが存在する位置が床面であるか壁面であるかを判定することができる。また、マーカーに当該マーカーの設置位置を示す情報が埋め込まれている場合、情報処理装置は、マーカーに埋め込まれたマーカー情報を解析することで、検出されたマーカーとカメラ１００Ａとの距離を把握することができる。これにより、情報処理装置は、撮像画像中の床面、壁面といった平面領域の位置、ひいてはカメラ１００Ａの座標系における床面、壁面といった平面の位置を適切に把握することができる。
また、情報処理装置は、カメラ１００Ａにより撮像された撮像画像を表示装置であるクライアント装置２００へ表示させる表示制御を行い、ユーザによる撮像画像における注目点の設定を受け付け、撮像画像における注目点の位置情報を取得する。したがって、情報処理装置は、ユーザが所望する注視点の三次元位置を適切に算出し、カメラ１００Ｂに撮像を指示することができる。
本実施形態の撮像システムにおいて、カメラ１００Ａは全方位カメラ、カメラ１００ＢはＰＴＺカメラとすることができる。本撮像システムでは、全方位カメラにより広範囲を監視し、注視したい物体が存在する場合、ユーザが全方位画像から注視点を指定することで、その注視点をＰＴＺカメラに撮像させることができる。これにより、注視点の詳細画像（例えば拡大画像）を適切にユーザに提示することが可能となる。したがって、ユーザは、人物の顔や車のナンバープレートなどの詳細な情報を容易に確認することができる。
本実施形態の撮像システムにおいて、カメラ１００Ａは全方位カメラ、カメラ１００ＢはＰＴＺカメラとすることができる。本撮像システムでは、全方位カメラにより広範囲を監視し、注視したい物体が存在する場合、ユーザが全方位画像から注視点を指定することで、その注視点をＰＴＺカメラに撮像させることができる。これにより、注視点の詳細画像（例えば拡大画像）を適切にユーザに提示することが可能となる。したがって、ユーザは、人物の顔や車のナンバープレートなどの詳細な情報を容易に確認することができる。
次に、本発明における第二の実施形態について説明する。
上述した第一の実施形態では、注目点が人物の顔である場合について説明した。第二の実施形態では、注目点を人物の顔とするか、注目点を人物の中心として全身を注視するか、注目点を人物の足元とするか、といった視点モードを選択可能とし、ユーザが求める視点で注視点を設定する場合について説明する。
この第二の実施形態におけるシステム構成は、上述した第一の実施形態と同様である。また、本実施形態における情報処理装置が実行する床面設定処理についても、上述した第一の実施形態と同様である。
本実施形態では、情報処理装置が実行する撮像方向指示処理が、上述した第一の実施形態とは異なる。したがって、以下、第一の実施形態とは処理の異なる部分を中心に説明する。
上述した第一の実施形態では、注目点が人物の顔である場合について説明した。第二の実施形態では、注目点を人物の顔とするか、注目点を人物の中心として全身を注視するか、注目点を人物の足元とするか、といった視点モードを選択可能とし、ユーザが求める視点で注視点を設定する場合について説明する。
この第二の実施形態におけるシステム構成は、上述した第一の実施形態と同様である。また、本実施形態における情報処理装置が実行する床面設定処理についても、上述した第一の実施形態と同様である。
本実施形態では、情報処理装置が実行する撮像方向指示処理が、上述した第一の実施形態とは異なる。したがって、以下、第一の実施形態とは処理の異なる部分を中心に説明する。
図１３は、本実施形態における情報処理装置が実行する撮像方向指示処理を示すフローチャートである。なお、本実施形態では、カメラ１００Ａが撮像方向指示処理を実行する場合について説明するが、クライアント装置２００やカメラ１００Ｂが、カメラ１００Ａから各種情報を取得して撮像方向指示処理を実行してもよい。
この図１３の処理は、ユーザによりカメラ１００Ａの撮像画像から注目点が指定されたタイミングで実行される。ただし、図１３の処理の開始タイミングは、上記のタイミングに限らない。カメラ１００Ａは、カメラ１００Ａが備えるＣＰＵが必要なプログラムを読み出して実行することにより、図１３に示す各処理を実現することができる。
この図１３の処理は、ユーザによりカメラ１００Ａの撮像画像から注目点が指定されたタイミングで実行される。ただし、図１３の処理の開始タイミングは、上記のタイミングに限らない。カメラ１００Ａは、カメラ１００Ａが備えるＣＰＵが必要なプログラムを読み出して実行することにより、図１３に示す各処理を実現することができる。
まずＳ２１において、カメラ１００Ａは、視点モードと推定身長とを示す情報を取得する。カメラ１００Ａは、ＧＵＩをクライアント装置２００の表示部２０７に表示させる表示制御を行い、表示部２０７に表示されたＧＵＩを介して視点モードおよび推定身長の指定を受け付ける。カメラ１００Ａは、ユーザが、クライアント装置２００の表示部２０７に表示されたＧＵＩ上において視点モードおよび推定身長を指定したとき、指定された視点モードを示す情報および推定身長を示す情報を取得する。
本実施形態において、ユーザは、「顔アップ」モード、「全身」モード、「足元」モードの３つの視点モードを選択できるものとする。「顔アップ」モードは、上述した第一の実施形態と同様に、床面上に存在する人を注目物体とする場合、人の顔を注視するモードである。「全身」モードは、人の顔だけでなく、足元まで含んだ全身を注視するモードである。「足元」モードは、人の足元を注視するモードであり、床面から高さ０の点を注目点とするモードである。
視点モードおよび推定身長を入力するためのＧＵＩについては後述する。
本実施形態において、ユーザは、「顔アップ」モード、「全身」モード、「足元」モードの３つの視点モードを選択できるものとする。「顔アップ」モードは、上述した第一の実施形態と同様に、床面上に存在する人を注目物体とする場合、人の顔を注視するモードである。「全身」モードは、人の顔だけでなく、足元まで含んだ全身を注視するモードである。「足元」モードは、人の足元を注視するモードであり、床面から高さ０の点を注目点とするモードである。
視点モードおよび推定身長を入力するためのＧＵＩについては後述する。
Ｓ２２およびＳ２３の処理は、上述した第一の実施形態（図９のＳ１１およびＳ１２）と同様であるので説明を省略する。
Ｓ２４では、Ｓ２１において決定された視点モードを考慮して、注視点の三次元位置（注視点位置）を算出する。
図１４は、Ｓ２３の注視属性判定において注視点の属性が床面上に存在する人物であると判定された場合の、それぞれの視点モードにおける注視点位置の算出方法を説明する図である。カメラ１００Ａの撮像画像から注目点として指定された点は、カメラ１００Ａの視点以外から見ると、図１４における直線６２１で示される。この直線６２１は、カメラ１００Ａの撮像条件と、カメラ１００Ａの座標系における注目点の座標（Φ’，Θ’）から得られる。
視点モードが「顔アップ」モードである場合、Ｓ２１において取得された推定身長ｈ0を注目点の床面からの高さと定義し、直線６２１上の点のうち、床面６２２からｈ0の高さにある点６２３が、注視点としてふさわしい点であると推定される。したがって、カメラ１００Ａは、この点６２３を注視点として三次元位置を算出する。
Ｓ２４では、Ｓ２１において決定された視点モードを考慮して、注視点の三次元位置（注視点位置）を算出する。
図１４は、Ｓ２３の注視属性判定において注視点の属性が床面上に存在する人物であると判定された場合の、それぞれの視点モードにおける注視点位置の算出方法を説明する図である。カメラ１００Ａの撮像画像から注目点として指定された点は、カメラ１００Ａの視点以外から見ると、図１４における直線６２１で示される。この直線６２１は、カメラ１００Ａの撮像条件と、カメラ１００Ａの座標系における注目点の座標（Φ’，Θ’）から得られる。
視点モードが「顔アップ」モードである場合、Ｓ２１において取得された推定身長ｈ0を注目点の床面からの高さと定義し、直線６２１上の点のうち、床面６２２からｈ0の高さにある点６２３が、注視点としてふさわしい点であると推定される。したがって、カメラ１００Ａは、この点６２３を注視点として三次元位置を算出する。
一方、視点モードが「全身」モードである場合には、注目点は人物の中心であるため、直線６２１上の点のうち、床面６２２から推定身長ｈ0の半分の高さ（ｈ0／２）にある点６２４が、注視点としてふさわしい点であると推定される。したがって、カメラ１００Ａは、この点６２４を注視点として三次元位置を算出する。
また、視点モードが「足元」モードである場合には、直線６２１上の点のうち、床面６２２から高さ０の点６２５が、注視点としてふさわしい点であると推定される。したがって、カメラ１００Ａは、この点６２５を注視点として三次元位置を算出する。
なお、Ｓ２３の注視属性判定において注視点の属性が床面上に存在する人物以外の物体であると判定された場合、Ｓ２４における注視点位置の算出方法は、上述した第一の実施形態と同様であるので説明を省略する。
また、視点モードが「足元」モードである場合には、直線６２１上の点のうち、床面６２２から高さ０の点６２５が、注視点としてふさわしい点であると推定される。したがって、カメラ１００Ａは、この点６２５を注視点として三次元位置を算出する。
なお、Ｓ２３の注視属性判定において注視点の属性が床面上に存在する人物以外の物体であると判定された場合、Ｓ２４における注視点位置の算出方法は、上述した第一の実施形態と同様であるので説明を省略する。
Ｓ２５の処理は、上述した第一の実施形態（図９のＳ１４）と同様であるので説明を省略する。
Ｓ２６では、カメラ１００Ａは、Ｓ２５において座標変換された注視点位置をカメラ１００Ｂによって撮像するためのカメラ１００Ｂの撮像方向を決定する。また、カメラ１００Ａは、Ｓ２５において座標変換された注視点位置をカメラ１００Ｂの撮像画角の中心に置き、撮像対象の領域が画角内に収まるようにズーム倍率を算出する。つまり、視点モードが「顔アップ」モードである場合には顔が大きく映るように、視点モードが「全身」モードである場合には全身が映るように、視点モードが「足元」モードである場合には足元が大きく映るように、撮像画角を決定する。そして、カメラ１００Ａは、カメラ１００Ｂの撮像方向および撮像画角を制御するコマンド（パラメータ）を、ネットワーク３００を介してカメラ１００Ｂへ送信し、カメラ１００Ｂに撮像を開始させる。
Ｓ２６では、カメラ１００Ａは、Ｓ２５において座標変換された注視点位置をカメラ１００Ｂによって撮像するためのカメラ１００Ｂの撮像方向を決定する。また、カメラ１００Ａは、Ｓ２５において座標変換された注視点位置をカメラ１００Ｂの撮像画角の中心に置き、撮像対象の領域が画角内に収まるようにズーム倍率を算出する。つまり、視点モードが「顔アップ」モードである場合には顔が大きく映るように、視点モードが「全身」モードである場合には全身が映るように、視点モードが「足元」モードである場合には足元が大きく映るように、撮像画角を決定する。そして、カメラ１００Ａは、カメラ１００Ｂの撮像方向および撮像画角を制御するコマンド（パラメータ）を、ネットワーク３００を介してカメラ１００Ｂへ送信し、カメラ１００Ｂに撮像を開始させる。
以下、図１５～図１８を用いて、視点モードと推定身長とを入力するためのＧＵＩの一例について説明する。
図１５～図１７に示すＧＵＩ７００は、クライアント装置２００の表示部２０７に表示され、操作入力部２０５によって操作される。ＧＵＩ７００は、カメラ１００Ａから配信される映像を表示する映像表示部７０１と、カメラ１００Ｂから配信される映像を表示する映像表示部７０２と、を備えることができる。また、ＧＵＩ７００は、視点モードの設定を変更可能なモード設定入力フォーム７０３と、推定身長を設定可能な推定身長入力フォーム７０４と、を備えることができる。
ここで、モード設定入力フォーム７０３は、例えばプルダウンにより構成され、ユーザは操作入力部２０５が備えるマウスなどの操作デバイスを用いて視点モードを選択することができる。また、推定身長入力フォーム７０４は、例えばプルダウンにより構成され、ユーザは操作デバイスを用いて推定身長を選択することができる。なお、視点モードおよび推定身長の指定方法は、上記に限定されない。例えば推定身長については、ユーザが推定身長の数値を直接入力する構成であってもよいし、図１８に示すようなポップアップ７１０から、ユーザが操作デバイスを用いて予め設定された範囲内の数値を選択する構成であってもよい。
図１５～図１７に示すＧＵＩ７００は、クライアント装置２００の表示部２０７に表示され、操作入力部２０５によって操作される。ＧＵＩ７００は、カメラ１００Ａから配信される映像を表示する映像表示部７０１と、カメラ１００Ｂから配信される映像を表示する映像表示部７０２と、を備えることができる。また、ＧＵＩ７００は、視点モードの設定を変更可能なモード設定入力フォーム７０３と、推定身長を設定可能な推定身長入力フォーム７０４と、を備えることができる。
ここで、モード設定入力フォーム７０３は、例えばプルダウンにより構成され、ユーザは操作入力部２０５が備えるマウスなどの操作デバイスを用いて視点モードを選択することができる。また、推定身長入力フォーム７０４は、例えばプルダウンにより構成され、ユーザは操作デバイスを用いて推定身長を選択することができる。なお、視点モードおよび推定身長の指定方法は、上記に限定されない。例えば推定身長については、ユーザが推定身長の数値を直接入力する構成であってもよいし、図１８に示すようなポップアップ７１０から、ユーザが操作デバイスを用いて予め設定された範囲内の数値を選択する構成であってもよい。
ユーザは、操作デバイスを用いて、表示画面上のポインタ７０５を、映像表示部７０１に表示された映像上の注視したい点に合わせ、マウスクリックなどによって注目点の指定を行う。ユーザによる注目点の指定をトリガーとして、カメラ１００Ａは、図１３に示す撮像方向指示処理を実行し、カメラ１００Ｂに対して撮像方向および撮像画角を指示する。すると、カメラ１００Ｂは、カメラ１００Ａからの指示に従って撮像方向および撮像画角を変更する。その結果、映像表示部７０２には、ユーザが指定した注目点を注視点としてカメラ１００Ｂが撮像した映像が表示される。
ユーザが視点モードとして「顔アップ」モードを選択した場合、図１５に示すように、映像表示部７０２にはユーザが注視したい人物の顔付近の映像が表示される。また、ユーザが視点モードとして「全身」モードを選択した場合には、図１６に示すように、映像表示部７０２にはユーザが注視したい人物の全体が映った映像が表示される。さらに、ユーザが視点モードとして「足元」モードを選択した場合には、図１７に示すように、映像表示部７０２にはユーザが注視したい人物の足元の映像が表示される。
なお、「足元」モードでは、床面からの注視点の高さが０で固定であるため、推定身長入力フォーム７０４はユーザからの数値入力を受け付けない構成としてもよい。また、その場合、視点モードの切り替え前にユーザにより指定された推定身長を記憶しておき、視点モードの復帰時に記憶していた推定身長を自動的に選択した状態としてもよい。
なお、「足元」モードでは、床面からの注視点の高さが０で固定であるため、推定身長入力フォーム７０４はユーザからの数値入力を受け付けない構成としてもよい。また、その場合、視点モードの切り替え前にユーザにより指定された推定身長を記憶しておき、視点モードの復帰時に記憶していた推定身長を自動的に選択した状態としてもよい。
以上説明したように、本実施形態における情報処理装置は、ユーザによる視点モードの設定を受け付け、視点モードに応じて注目点の三次元位置を算出する。具体的には、情報処理装置は、視点モードに応じて、注目点を人物の顔、人物の中心、人物の足元のいずれかに設定する。そして、情報処理装置は、注目点が人物の顔の場合、床面から推定身長ｈ0の高さにある点を注視点として設定し、注目点が人物の中心である場合、床面から推定身長（ｈ0／２）の高さにある点を注視点として設定する。また、情報処理装置は、注目点が人物の足元である場合、床面から高さ０となる点を注視点として設定する。
つまり、情報処理装置は、ユーザによる視点モードの設定を受け付けることで、床面から注視点までの高さを示す高さ情報の設定を受け付け、注目点の三次元位置を算出する。これにより、情報処理装置は、ユーザが所望する注視点の三次元位置を適切に算出し、連携カメラに対して撮像方向を指示することができる。また、情報処理装置は、視点モードに応じてカメラ１００Ｂの撮像画角を決定し指示することができるので、ユーザが注視したい物体が適切に撮像された映像をユーザに提示することができる。
つまり、情報処理装置は、ユーザによる視点モードの設定を受け付けることで、床面から注視点までの高さを示す高さ情報の設定を受け付け、注目点の三次元位置を算出する。これにより、情報処理装置は、ユーザが所望する注視点の三次元位置を適切に算出し、連携カメラに対して撮像方向を指示することができる。また、情報処理装置は、視点モードに応じてカメラ１００Ｂの撮像画角を決定し指示することができるので、ユーザが注視したい物体が適切に撮像された映像をユーザに提示することができる。
（変形例）
上記各実施形態では、床面の高さが一定である場合について説明したが、床面に階段などの段差がある場合にも、情報処理装置は床面設定処理および撮像方向指示処理を実施することができる。この場合、カメラ１００Ａの直下の床面とは高さの異なる床面に対して床面設定処理を実施することになる。したがって、カメラ１００Ａの直下の床面を基準平面とし、基準平面に対する高さを示す情報を、高さの補正情報として床用マーカー４０１のマーカー情報として埋め込み、床面の高さの違いをカメラ１００Ａに通知すればよい。
つまり、図５に示す床面設定処理では、カメラ１００Ａは、Ｓ３においてマーカー情報を抽出した際に、上記の高さの補正情報も取得する。そして、カメラ１００Ａは、Ｓ４においてマップテーブルを更新する際に、Ｓ３において取得した高さの補正情報をマップテーブルへ格納する。マップテーブルの一例を図１９に示す。
上記各実施形態では、床面の高さが一定である場合について説明したが、床面に階段などの段差がある場合にも、情報処理装置は床面設定処理および撮像方向指示処理を実施することができる。この場合、カメラ１００Ａの直下の床面とは高さの異なる床面に対して床面設定処理を実施することになる。したがって、カメラ１００Ａの直下の床面を基準平面とし、基準平面に対する高さを示す情報を、高さの補正情報として床用マーカー４０１のマーカー情報として埋め込み、床面の高さの違いをカメラ１００Ａに通知すればよい。
つまり、図５に示す床面設定処理では、カメラ１００Ａは、Ｓ３においてマーカー情報を抽出した際に、上記の高さの補正情報も取得する。そして、カメラ１００Ａは、Ｓ４においてマップテーブルを更新する際に、Ｓ３において取得した高さの補正情報をマップテーブルへ格納する。マップテーブルの一例を図１９に示す。
また、図９に示す撮像方向指示処理では、カメラ１００Ａは、Ｓ１２において、図１９に示すように高さの補正情報が格納されたマップテーブルを用いて注視点の属性を判定する。以下、注視点の属性の判定方法について説明する。
上述した第一の実施形態においては、予め設定された高さ情報（推定身長）ｈ0を用いて、上記（５）式をもとに仰角の最大値ΘMAXを算出したが、床面の高さの違いを考慮する場合、高さの補正値ｈcを加えて仰角の最大値ΘMAX’を算出する。
ΘMAX’＝ａｒｃｔａｎ（（ｈ×ｔａｎΘ3）／（ｈ－（ｈ0＋ｈc））） ………（７）
そして、注目点の座標値Θ’が、仰角ΘMAX’よりも小さい値であれば、注視点の属性は、床面上に存在する人物であると判定することができる。一方、注目点の座標値Θ’が、仰角ΘMAX’よりも大きい場合は、注視点の属性が、床面上に存在する人物以外の物体、つまり壁面上に存在する物体であると判定することができる。
上述した第一の実施形態においては、予め設定された高さ情報（推定身長）ｈ0を用いて、上記（５）式をもとに仰角の最大値ΘMAXを算出したが、床面の高さの違いを考慮する場合、高さの補正値ｈcを加えて仰角の最大値ΘMAX’を算出する。
ΘMAX’＝ａｒｃｔａｎ（（ｈ×ｔａｎΘ3）／（ｈ－（ｈ0＋ｈc））） ………（７）
そして、注目点の座標値Θ’が、仰角ΘMAX’よりも小さい値であれば、注視点の属性は、床面上に存在する人物であると判定することができる。一方、注目点の座標値Θ’が、仰角ΘMAX’よりも大きい場合は、注視点の属性が、床面上に存在する人物以外の物体、つまり壁面上に存在する物体であると判定することができる。
さらに、カメラ１００Ａは、図９のＳ１３においては、高さの補正値ｈcを考慮して注視点位置を算出する。
図２０は、注視点の属性が床面上に存在する人物であると判定された場合の注視点位置の算出方法を説明する図である。カメラ１００Ａの撮像画像から注目点として指定された点は、カメラ１００Ａの視点以外から見ると、図２０における直線６３１で示される。ここで、注目する人物の推定身長が予めｈ0と設定されている場合、直線６３１上の点のうち、床面６３２から（ｈ0＋ｈc）の高さにある点６３３が、注視点としてふさわしい点であると推定される。したがって、カメラ１００Ａは、この点６３３を注視点として三次元位置を算出する。なお、注視点の属性が床面上に存在する人物以外の物体であると判定された場合の注視点位置の算出方法は、上述した第一の実施形態と同様である。
以上のように構成することで、床面の高さが異なる位置に存在する人物についても、適切に複数台のカメラで連携して撮像することが可能である。
図２０は、注視点の属性が床面上に存在する人物であると判定された場合の注視点位置の算出方法を説明する図である。カメラ１００Ａの撮像画像から注目点として指定された点は、カメラ１００Ａの視点以外から見ると、図２０における直線６３１で示される。ここで、注目する人物の推定身長が予めｈ0と設定されている場合、直線６３１上の点のうち、床面６３２から（ｈ0＋ｈc）の高さにある点６３３が、注視点としてふさわしい点であると推定される。したがって、カメラ１００Ａは、この点６３３を注視点として三次元位置を算出する。なお、注視点の属性が床面上に存在する人物以外の物体であると判定された場合の注視点位置の算出方法は、上述した第一の実施形態と同様である。
以上のように構成することで、床面の高さが異なる位置に存在する人物についても、適切に複数台のカメラで連携して撮像することが可能である。
なお、上記各実施形態においては、床用マーカー４０１と壁用マーカー４０２とを用いて床面領域の設定を行う場合について説明したが、ユーザがＧＵＩを介して床面領域を指定するようにしてもよい。その場合、図２１（ａ）および図２１（ｂ）に示すように、ユーザがマウスなどの操作デバイスを用いてポインタ７０５を操作し、表示部２０７に表示されたカメラ１００Ａの撮像画像上において床面領域を指定する。このとき、ユーザは、図２１（ａ）に示すように床面の範囲をフリーハンドで指定してもよいし、図２１（ｂ）に示すように矩形選択で指定してもよい。カメラ１００Ａは、撮像画像における床面領域の設定を受け付け、床面領域の領域情報を取得する。
このように、情報処理装置は、カメラ１００Ａの撮像画像を表示装置であるクライアント装置２００へ表示させる表示制御を行い、撮像画像における平面領域の設定を受け付け、当該平面領域の領域情報を取得することもできる。これにより、床面領域や壁面領域をより適切に設定することが可能となる。
また、撮像画像における平面領域の設定方法は、上述したマーカーを使用する方法や撮像画像を表示させてユーザがマウス等により指定する方法に限定されない。例えば、撮像画像から動体を検知し、その動線から床面領域を推定する方法を用いることもできる。
このように、情報処理装置は、カメラ１００Ａの撮像画像を表示装置であるクライアント装置２００へ表示させる表示制御を行い、撮像画像における平面領域の設定を受け付け、当該平面領域の領域情報を取得することもできる。これにより、床面領域や壁面領域をより適切に設定することが可能となる。
また、撮像画像における平面領域の設定方法は、上述したマーカーを使用する方法や撮像画像を表示させてユーザがマウス等により指定する方法に限定されない。例えば、撮像画像から動体を検知し、その動線から床面領域を推定する方法を用いることもできる。
また、上記各実施形態においては、カメラ１００Ａは、クライアント装置２００に表示された撮像画像における注目点の設定をユーザから受け付け、撮像画像における注目点の位置を示す位置情報を取得する場合について説明した。しかしながら、カメラ１００Ａは、自動認識技術により撮像画像から注目点を設定し、注目点の位置情報を取得してもよい。例えば、カメラ１００Ａは、撮像画像から人物を検出する人物検出処理を行い、人物検出処理による検出結果に基づいて、撮像画像における注目点の位置を例えば人物の顔に設定し、注目点の位置情報を取得してもよい。
このように、情報処理装置は、人物検出処理の検出結果に基づいて撮像画像における注目点の位置を設定するので、ユーザがカメラ１００Ａの撮像画像を監視して注目点を指示する手間を省くことができる。
このように、情報処理装置は、人物検出処理の検出結果に基づいて撮像画像における注目点の位置を設定するので、ユーザがカメラ１００Ａの撮像画像を監視して注目点を指示する手間を省くことができる。
さらに、上記各実施形態においては、カメラ１００Ａは、撮像方向指示処理によりカメラ１００Ｂに撮像方向を指示するコマンドを送信する場合について説明した。しかしながら、カメラ１００Ａは、カメラ１００Ｂに対して、カメラ１００Ｂの座標系における注視点の三次元位置を送信するようにしてもよい。また、カメラ１００Ａは、カメラ１００Ｂに対して、カメラ１００Ａの座標系における三次元位置を送信し、カメラ１００Ｂがカメラ１００Ａから受信した三次元位置をカメラ１００Ｂの座標系に座標変換するようにしてもよい。このように、カメラ１００Ｂに対して注視点の三次元位置を送信した場合にも、カメラ１００Ｂは、撮像方向を適切に制御して、カメラ１００Ａの撮像画像から指定された注目点を注視点とした撮像を行うことができる。
また、上記各実施形態においては、複数の撮像装置を連携させて物体を撮像するカメラ連携システムについて説明したが、本発明はカメラ連携システム以外にも適用可能である。つまり、情報処理装置により導出された、カメラ１００Ａの撮像画像における注目点の三次元的な位置を、カメラ連携処理以外の処理に用いることもできる。
また、上記各実施形態においては、複数の撮像装置を連携させて物体を撮像するカメラ連携システムについて説明したが、本発明はカメラ連携システム以外にも適用可能である。つまり、情報処理装置により導出された、カメラ１００Ａの撮像画像における注目点の三次元的な位置を、カメラ連携処理以外の処理に用いることもできる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００Ａ，１００Ｂ…撮像装置、２００…クライアント装置、３００…ネットワーク、４０１…床用マーカー、４０２…壁用マーカー、１０００…撮像システム
Claims (16)
- 第一の撮像装置により撮像された撮像画像における床面領域の位置および壁面領域の位置を特定するための領域情報を取得する第一の取得手段と、
前記撮像画像における注目点の位置を示す位置情報を取得する第二の取得手段と、
前記第一の取得手段により取得された領域情報と、前記第二の取得手段により取得された位置情報と、を用いて、前記注目点に対応する注目物体が床面に存在する物体であるか壁面に存在する物体であるかを判定し、当該判定の結果に基づいて、前記注目点の三次元的な位置を導出する導出手段と、を備えることを特徴とする情報処理装置。 - 前記導出手段により導出された前記注目点を注視点として撮像するための、前記第一の撮像装置とは異なる第二の撮像装置の撮像方向を決定し、前記第二の撮像装置に当該撮像方向を指示する指示手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
- 前記指示手段は、さらに前記第二の撮像装置の撮像画角を決定し、前記第二の撮像装置に撮像画角を指示することを特徴とする請求項２に記載の情報処理装置。
- 前記導出手段は、
前記第一の撮像装置の撮像条件と、前記第二の取得手段により取得された位置情報とに基づいて、実空間上で前記注目点が存在しうる直線を導出し、
前記注目点に対応する注目物体が前記床面に存在する物体であると判定した場合において、導出した前記直線上の点のうち、実空間上の前記床面からの高さが、予め設定された高さ情報に基づく高さとなる位置を前記注目点の三次元的な位置として導出することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。 - 前記第一の取得手段は、
前記撮像画像から識別情報を抽出して前記床面領域を設定し、前記領域情報を取得することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。 - 前記第一の取得手段は、
前記撮像画像からマーカーを検出し、当該検出の結果に基づいて前記床面領域を設定し、前記マーカーに埋め込まれたマーカー情報をもとに前記領域情報を取得することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。 - 前記マーカー情報は、前記床面領域と前記壁面領域のいずれであるかを示す情報、および、前記マーカーの設置位置の情報の少なくとも１つを含むことを特徴とする請求項６に記載の情報処理装置。
- 前記第一の取得手段は、
前記撮像画像を表示装置へ表示させ、表示された前記撮像画像における前記床面領域の設定を受け付けることで、前記領域情報を取得することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。 - 前記撮像画像から人物を検出する人物検出手段をさらに備え、
前記第二の取得手段は、
前記人物検出手段による検出結果に基づいて前記撮像画像における前記注目点の位置を設定し、前記位置情報を取得することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。 - 前記第二の取得手段は、
前記撮像画像を表示装置へ表示させ、表示された前記撮像画像における前記注目点の設定を受け付けることで、前記位置情報を取得することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。 - 前記高さ情報は、実空間上の前記床面領域から前記注目点までの高さを示す情報であることを特徴とする請求項４に記載の情報処理装置。
- 前記高さ情報の設定を受け付け、前記高さ情報を取得する第三の取得手段をさらに備えることを特徴とする請求項４に記載の情報処理装置。
- 前記注目点は、人物もしくは人物の一部であることを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
- 第一の撮像装置により撮像された撮像画像における床面領域の位置および壁面領域の位置を特定するための領域情報を取得するステップと、
前記撮像画像における注目点の位置を示す位置情報を取得するステップと、
前記領域情報と、前記位置情報と、を用いて、前記注目点に対応する注目物体が前記床面領域に存在する物体であるか前記壁面領域に存在する物体であるかを判定し、当該判定の結果に基づいて、前記注目点の三次元的な位置を導出するステップと、を含むことを特徴とする情報処理方法。 - 第一の撮像装置と、
前記第一の撮像装置とは異なる第二の撮像装置と、
前記第一の撮像装置により撮像された撮像画像における床面領域の位置および壁面領域の位置を特定するための領域情報を取得する第一の取得手段と、
前記撮像画像における注目点の位置を示す位置情報を取得する第二の取得手段と、
前記第一の取得手段により取得された領域情報と、前記第二の取得手段により取得された位置情報と、を用いて、前記注目点に対応する注目物体が前記床面領域に存在する物体であるか前記壁面領域に存在する物体であるかを判定し、当該判定の結果に基づいて、前記注目点の三次元的な位置を導出する導出手段と、
前記導出手段により導出された前記注目点を注視点として撮像するための前記第二の撮像装置の撮像方向を決定し、前記第二の撮像装置に当該撮像方向を指示する指示手段と、
を備えることを特徴とする撮像システム。 - コンピュータを、請求項１から１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018201368A JP7237520B2 (ja) | 2018-10-26 | 2018-10-26 | 情報処理装置、情報処理方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018201368A JP7237520B2 (ja) | 2018-10-26 | 2018-10-26 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020068495A JP2020068495A (ja) | 2020-04-30 |
| JP7237520B2 true JP7237520B2 (ja) | 2023-03-13 |
Family
ID=70388747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018201368A Active JP7237520B2 (ja) | 2018-10-26 | 2018-10-26 | 情報処理装置、情報処理方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7237520B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113247722B (zh) * | 2021-06-01 | 2023-10-31 | 武汉晟泽瑞网络科技有限公司 | 一种基于机器视觉技术的电梯轿厢视频对讲控制方法及电梯云中控平台 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007233523A (ja) | 2006-02-28 | 2007-09-13 | Hitachi Ltd | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム |
| JP2009143722A (ja) | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
| JP2017103602A (ja) | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
| JP2017103607A (ja) | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2018038087A2 (ja) | 2016-08-22 | 2018-03-01 | 株式会社イデアクエスト | 個室見守り装置 |
-
2018
- 2018-10-26 JP JP2018201368A patent/JP7237520B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007233523A (ja) | 2006-02-28 | 2007-09-13 | Hitachi Ltd | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム |
| JP2009143722A (ja) | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
| JP2017103602A (ja) | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
| JP2017103607A (ja) | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2018038087A2 (ja) | 2016-08-22 | 2018-03-01 | 株式会社イデアクエスト | 個室見守り装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020068495A (ja) | 2020-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102111935B1 (ko) | 표시 제어장치, 표시 제어방법 및 프로그램 | |
| US20110063457A1 (en) | Arrangement for controlling networked PTZ cameras | |
| JP5724346B2 (ja) | 映像表示装置、映像表示システム、映像表示方法およびプログラム | |
| JP7204346B2 (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
| JP2007208741A (ja) | 遠隔指示システム及び遠隔指示方法 | |
| KR101287190B1 (ko) | 영상감시장치의 촬영 위치 자동 추적 방법 | |
| KR20130130544A (ko) | 감시 영상 표시 방법 및 시스템 | |
| JP2016127571A (ja) | カメラシステム、表示制御装置、表示制御方法、及びプログラム | |
| JP5183152B2 (ja) | 画像処理装置 | |
| JP6624800B2 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
| JP7237520B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP2022105568A (ja) | ３ｄツアーの比較表示システム及び方法 | |
| JP6269014B2 (ja) | フォーカス制御装置およびフォーカス制御方法 | |
| JP7504688B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP6733434B2 (ja) | 情報表示システムおよび画像形成装置 | |
| JP6700706B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR101670247B1 (ko) | Ｃｃｔｖ 실시간 영상의 원클릭 선택을 이용한 객체 확대 이동 시스템 및 그 방법 | |
| JP2020088840A (ja) | 監視装置、監視システム、監視方法、監視プログラム | |
| JP2020198468A (ja) | 撮像装置、撮像方法及びプログラム | |
| JP2004320175A (ja) | 監視カメラシステム | |
| JP2008154188A (ja) | 画像伝送システム及び画像伝送方法 | |
| JP6483326B2 (ja) | 監視システムおよび端末装置 | |
| JP2021040249A (ja) | クライアント装置、撮像装置およびそれらの制御方法 | |
| JP7374692B2 (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
| JP2015133020A (ja) | 管理クライアント装置および管理システム、管理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211015 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230301 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7237520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |