JP2020068495A - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2020068495A JP2020068495A JP2018201368A JP2018201368A JP2020068495A JP 2020068495 A JP2020068495 A JP 2020068495A JP 2018201368 A JP2018201368 A JP 2018201368A JP 2018201368 A JP2018201368 A JP 2018201368A JP 2020068495 A JP2020068495 A JP 2020068495A
- Authority
- JP
- Japan
- Prior art keywords
- information
- camera
- point
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
しかしながら、2次元平面である撮像画像からは奥行情報を取得できないため、撮像画像から注目点を指定した場合、注目点の三次元的な位置を算出することができない。そのため、例えば全方位カメラがドアの手前に立つ人物をドアの正面から撮像し、撮像画像においてその人物の顔を注目点として選択した場合、ドアの横方向から撮像するPTZカメラは、人物の顔とドアのどちらを注視点とすればよいのか判断が付かない。また、人のように動き回る動体の場合、運用開始前に位置合わせをしておくことは難しい。
特許文献1には、カメラから撮像対象までの距離を取得し、奥行情報を得る方法として、距離センサを使用する方法や、カメラのフォーカス位置を取得する方法が開示されている。
そこで、本発明は、撮像画像における注目点の三次元的な位置を低コストで適切に導出することを課題としている。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
ネットワークカメラは、大規模な公共機関や量販店における監視カメラとして幅広い分野で利用されており、様々な運用方法がある。また、ネットワークカメラは、運用形態に合わせるために様々な機能的特徴をもったものが存在する。例えばパン・チルトといった撮像方向を自在に変更できるネットワークカメラや、撮像方向は変更できないが高倍率のズーム撮像が可能なネットワークカメラ、魚眼レンズを搭載し広い範囲を一度に監視可能なネットワークカメラ(全方位カメラ)が存在する。
このようなネットワークカメラのうち、全方位カメラは、非常に広い視野角を持つ一方で、カメラから離れた場所では割り当てられた画素数が少なく、解像度が落ちてしまうという特徴がある。そのため、全方位カメラは、人の顔や車のナンバープレートといった詳細な情報を取得することには向いていない。そのような欠点を補うため、全方位カメラとパン・チルト・ズーム機能を持つカメラ(PTZカメラ)とを連携させるようなカメラ連携機能がある。つまり、全方位カメラで広い範囲を一度に監視し、その映像中で特に注目すべき点(注目点)をPTZカメラが撮像し、当該注目点を拡大表示して詳細情報を取得する。
図1は、本実施形態における撮像システム1000のシステム構成例を示す図である。本実施形態における撮像システム1000は、2台の撮像装置100A、100Bを連携させて監視対象となる注目物体を撮像するカメラ連携システムである。
撮像システム1000においては、撮像装置100A、100Bの位置関係を把握するために、運用開始前にキャリブレーションが実施される。本実施形態では、撮像システム1000は、このキャリブレーション時にマーカーを使用した床面設定処理を実施して、撮像装置100Aの撮像画像における床面(地面)や壁面といった平面領域を設定する。運用開始後は、撮像システム1000は、撮像装置100Aの撮像画像から指定された注目点の三次元的な位置を導出し、導出した注目点を注視点として、撮像装置100Bに撮像させる処理を行う。具体的には、注目点が人物の顔である場合、撮像システム1000は、床面からの高さが人物の推定身長となる点を注目点(注視点)として算出し、撮像装置100Bの撮像方向を制御する撮像方向指示処理を実施する。
なお、注目点は人物の顔に限定されない。注目点は、人物の顔以外の一部であってもよいし、人物の全身であってもよい。また、注目点は、人物以外の物体(例えば車両や窓)であってもよい。
本実施形態では、カメラ100Aが、上記の床面設定処理および撮像方向指示処理を実行する情報処理装置として動作する場合について説明する。なお、本実施形態では、カメラ100Aが情報処理装置として動作する場合について説明するが、クライアント装置200や撮像装置100Bが情報処理装置として動作してもよい。
カメラ100Bは、撮像光学部101と、撮像素子部102と、CPU103と、ROM104と、RAM105と、撮像系制御部106と、PT制御部107と、画像処理部108と、エンコーダ部109と、通信部110と、を備える。
撮像光学部101は、対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り等を備え、被写体の光情報を撮像素子部102へ集光する。
撮像素子部102は、撮像光学部101にて集光された光情報を電気信号へと変換するCCDまたはCMOSセンサといった撮像素子を備え、カラーフィルタなどと組み合わせることで色情報を取得する。また、撮像素子部102は、すべての画素に対して、任意の露光時間とゲインの調整が設定可能な撮像センサを用いた構成とすることができる。
CPU103は、処理の実行に際してROM104から必要なプログラム等をRAM105にロードし、当該プログラム等を実行することで各種の機能動作を実現する。例えばCPU103は、露出を制御するAE(Automatic Exposure)制御や、フォーカスを制御するAF(Autofocus)制御等を撮像系制御部106に指示することができる。
PT制御部107は、不図示のカメラ姿勢駆動部を制御することでカメラ100Bのパン、チルトを制御する。PT制御部107は、クライアント装置200やカメラ100A等の他のカメラから送信されるカメラ操作コマンドに従って、カメラ100Bのパン、チルトを制御することもできる。
エンコーダ部109は、画像処理部108において画像処理された画像データをJpegやH.264などの所定のフォーマットに変換する処理を行う。
通信部110は、カメラ100A等の他のカメラやクライアント装置200との通信の処理を行う。本実施形態では、通信部110は、エンコーダ部109により変換された画像データを、ネットワーク300を経由してクライアント装置200へ配信する。また、通信部110は、クライアント装置200やカメラ100Aからの各種コマンドを受信し、受信したコマンドに対するレスポンスや画像データ以外の必要なデータの送信を行う。
また、全方位カメラであるカメラ100Aは、フォーカスレンズを省略したパンフォーカスカメラである。そのため、カメラ100Aのハードウェア構成は、上述したズームレンズやPT制御部107を省略した構成となっていることを除いては、図2に示すカメラ100Bのハードウェア構成を同様である。
図3は、クライアント装置200のハードウェア構成例である。
クライアント装置200は、CPU201と、ROM202と、RAM203と、HDD204と、操作入力部205と、通信部206と、表示部207と、を備える。
CPU201は、クライアント装置200における動作を統括的に制御する。ROM202は、CPU201が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、不図示の外部メモリや着脱可能な記憶媒体に記憶されていてもよい。RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際してROM202から必要なプログラム等をRAM203にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
操作入力部205は、電源ボタンや、キーボードやマウス等の操作デバイスを備え、ユーザからの指示入力を受け付けることができる。通信部206は、カメラ100Aおよび100Bから送信される画像をネットワーク300経由で受信する。また、通信部206は、各種コマンドをカメラ100Aおよび100Bへ送信し、そのレスポンスや画像データ以外の必要なデータの受信を行う。表示部207は、液晶ディスプレイ(LCD)等のモニタを備え、カメラ100Aおよび100Bの各種制御パラメータ入力のためのグラフィカルユーザインタフェース(GUI)を表示することができる。
なお、図1に示すクライアント装置200の各要素の一部の機能は、CPU201がプログラムを実行することで実現することもできる。
本実施形態における床面設定処理は、マーカーを用いて撮像画像における床面領域を設定する処理である。なお、カメラ100Aとカメラ100Bとの相対的な位置関係は、カメラ設置時のキャリブレーションにより計測されており、床面からのカメラの高さも設置環境の設計図面などから得られているものとする。
この図4に示すように、床用マーカー401と壁用マーカー402の2種類の異なるマーカーを用意する。そして、床用マーカー401は床面上に水平に、壁用マーカー402は壁面上に水平に設置する。それぞれのマーカーは、検出が容易な特徴点として既知のパターンが描かれており、形状、パターンデザイン、色などの違いによって、マーカーの種類(床用/壁用)を検出できるようになっている。
なお、各マーカー401および402には、2次元バーコード(例えば、QRコード(登録商標))を用いて情報を埋め込むこともできる。この場合、2次元バーコードにマーカーの種類を示す種類情報を埋め込めば、2次元バーコードを解析することでマーカーの種類を判別することができる。さらに、各マーカー401および402には、既知の長さのパターンを用いることもできる。この場合、検出されたパターンの長さをもとに、カメラ100Aとマーカー401、402との距離を算出することができる。このように、各マーカー401および402には、マーカー情報として、マーカーの種類を示す情報や、マーカーの設置位置を示す情報を埋め込むことができる。
つまり、床用マーカー401および壁用マーカー402は、撮像画像における床面領域および壁面領域を識別するための識別情報であるといえる。なお、本実施形態では、識別情報としてマーカーを用いる場合について説明するが、上記に限定されるものではない。識別情報は、撮像画像における平面領域を設定し、当該平面領域の領域情報を取得可能な情報であればよい。
そして、カメラ100Aは、撮像画像から平面領域の領域情報を取得すると、取得した領域情報をもとに、カメラ100Aの座標系における床面の位置、および壁面の位置を設定する。
なお、PTZカメラなどの画角が狭いカメラが床面設定処理を実行する場合は、必要に応じてすべてのマーカーを撮像できるように画角を変更してもよい。ここで、画角の変更は、ユーザが手動で行ってもよい。
カメラ100Aは、撮像画像からマーカーを抽出すると、当該マーカーの撮像画像における位置情報を検出する。説明を簡潔にするため、マーカーを一つだけ記載した撮像画像を図6(b)に示す。この図6(b)に示すように、床用マーカー401の位置情報は、撮像画像の中心となるOcを原点とした座標(r、Φ)として表すことができる。ここで、撮像画像の中心Ocは、カメラ100Aのレンズの中心点と一致する。カメラ100Aは、マーカーの撮像画像における位置情報(r、Φ)を検出し、これを保持する。
次にS4では、カメラ100Aは、マップテーブルを更新する。マップテーブルは、カメラ100Aの座標系における床面の位置を示す情報を格納するテーブルである。
この場合、S4において、カメラ100Aは、検出された床用マーカー401の撮像画像における位置情報をもとに床面領域を設定し、マップテーブルを更新する。
カメラ100Aの座標系における床用マーカー401の位置は、図7(a)に示すように、上述した中心Ocに対応する位置を原点とした仰角Θ1と、床面上での角度Φ1とにより定義することができる。仰角Θ1は、S2において検出された像高rとレンズの投影方式とに基づいて計算することができる。本実施形態では、撮像光学部101は、レンズの投影方式として立体射影方式を用いている。したがって、仰角Θ1は、像高rにより下記(1)式により求められる。
Θ1=2×arctan(r/2f) ………(1)
ここで、fは撮像光学部101における焦点距離である。
このように、床用マーカー401の撮像画像における位置情報に基づいて、カメラ100Aの座標系における床用マーカー401の位置情報(Θ1,Φ1)を一意に求めることができる。
マーカーとして床用マーカー401が検出され、検出された床用マーカー401のカメラ100Aの座標系における位置が(Θ1,Φ1)であった場合、角度Φ1において、少なくとも0°からΘ1°の仰角範囲は床面領域であると判断することができる。したがって、この場合、マップテーブルの角度パラメータΦ=Φ1に対応する仰角パラメータΘには、仰角範囲0〜Θ1が格納される。
なお、すでに対応する仰角パラメータΘが格納されている場合には、格納されている仰角パラメータΘの最大値と仰角Θ1とを比較し、仰角Θ1の方が大きい場合、マップテーブルの仰角パラメータΘの最大値を仰角Θ1に更新する。
この場合、S4において、カメラ100Aは、検出された壁用マーカー402の撮像画像における位置情報をもとに床面領域を設定し、マップテーブルを更新する。まず、カメラ100Aは、カメラ100Aと壁用マーカー402との実際の距離Wを求める。前述のように、マーカーには、マーカー情報として、既知の長さのパターンを含めることができる。そのため、撮像光学部101の焦点距離fと上記パターンの撮像画像上の長さdとを用いて、下記(2)式をもとに距離Wを算出することができる。ここで、pは既知のパターンの長さである。
W=p×f/d ………(2)
D=W×sinΘ2 ………(3)
上記(3)式において、Θ2は壁用マーカー402までの仰角であり、図7(a)に示す床用マーカー401までの仰角Θ1と同様に、S2において検出された像高rとレンズの投影方式とに基づいて計算することができる。
最後に、カメラ100Aは、カメラ100Aと壁用マーカー402との水平方向における距離Dと、カメラ100Aの床面からの高さhとに基づいて、壁と床との境界部までの仰角Θ3を算出する。
Θ3=arctan(D/h) ………(4)
なお、本実施形態では、マップテーブルは、カメラ100Aの周囲360°に対して、床面のある仰角範囲を記述したテーブルである場合について説明するが、上記に限定されるものではない。例えばマップテーブルは、カメラ100Aの周囲360°に対して、壁面のある仰角範囲を記述したテーブルであってもよい。この場合、仰角パラメータΘの最小値が、床面と壁面との境界位置を示す値となる。また、マップテーブルは、複数であってもよい。例えばマップテーブルは、床用、壁用など、種類ごとに作成してもよいし、壁の右端部など、領域ごとに作成してもよい。
なお、本実施形態では、カメラ100Aとカメラ100Bとの相対的な位置関係は、設置時のキャリブレーションにより計測するとしたが、カメラ100Aとカメラ100Bとの相対的な位置関係の計測方法は上記に限定されない。例えば、複数のマーカーをそれぞれカメラ100A、100Bから予め定められた距離だけ離して設置し、当該マーカーをカメラ100A、100Bによって撮像することによっても位置関係を計測可能である。
本実施形態における撮像方向指示処理は、カメラ100Aにより撮像された撮像画像において指定された注目点の三次元位置を算出し、当該注目点をカメラ100Bが注視点として撮像するように、カメラ100Bの撮像方向を制御する指示を出す処理である。
まずS11において、カメラ100Aは、ユーザが指定したカメラ100Aの撮像画像における注目点の位置情報(注目位置情報)を取得する。カメラ100Aは、撮像画像をクライアント装置200へ送信することで、当該撮像画像をクライアント装置200の表示部207に表示させる表示制御を行い、表示部207に表示された撮像画像内における注目点の指定を受け付ける。カメラ100Aは、ユーザが、クライアント装置200の表示部207に表示された撮像画像上において注目点を指定したとき、指定された注目点の撮像画像における位置情報を取得する。
図10(a)に示す撮像画像には、床の上に立つ人物501が存在する。ユーザが人物501の顔を注目点として指定した場合、カメラ100Aは、注目点の位置情報として座標(r’,Φ’)を取得する。また、図10(b)に示すように、ユーザが壁に設置された窓502を注目点として指定した場合、カメラ100Aは、注目点の位置情報として座標(r’’,Φ’’)を取得する。
次に、カメラ100Aは、マップテーブルから得られた仰角パラメータΘの最大値に、予め定められた高さ分を加えた仰角ΘMAXを算出する。
図11は、仰角ΘMAXの算出方法を説明する図である。注目点が人物の顔である場合、注視点の仰角の最大値は、壁際に立つ人物の顔を注目点として指定した場合の仰角と等しい。壁際に立つ身長h0の人物の顔の位置600は、カメラ100Aから下ろした垂線と床面との交点から距離Dだけ離れた位置から、高さh0だけ上方の位置となる。
ΘMAX=arctan((h×tanΘ3)/(h−h0)) ………(5)
ここで、Θ3は、マップテーブルに格納されている仰角パラメータΘの最大値である。
したがって、注目点の座標値Θ’が、仰角ΘMAXよりも小さい値であれば、注視点の属性は、床面上に存在する人物であると判定することができる。一方、注目点の座標値Θ’が、仰角ΘMAXよりも大きい場合は、注視点の属性が、床面上に存在する人物以外の物体、つまり壁面上に存在する物体であると判定することができる。
図12(a)は、注視点の属性が床面上に存在する人物であると判定された場合の注視点位置の算出方法を説明する図である。カメラ100Aの撮像画像から注目点として指定された点は、カメラ100Aの視点以外から見ると、図12(a)における直線601で示される。この直線601は、カメラ100Aの撮像条件と、カメラ100Aの座標系における注目点の座標(Φ’,Θ’)から得られる。ここで、上記撮像条件は、カメラ100Aの撮像方向および撮像画角を含む。
なお、人物の推定身長h0は、予め設定された固定値であってもよいし、マーカーに埋め込まれたマーカー情報から取得してもよいし、ユーザからの指定を受け付けて取得してもよい。また、注目点が人物の顔以外である場合、上記の高さ情報h0は、実空間上における人物の顔以外の注目点の床面からの高さを示す情報となる。
ここで、注目する物体は、床面上には存在せず、壁面上に存在する。そのため、直線611上の点のうち、カメラ100Aから床面602に下ろした垂線と床面602との交点から距離Dだけ離れた位置の上方にある点613が、注視点としてふさわしい点であると推定される。したがって、カメラ100Aは、この点613を注視点として三次元位置を算出する。この点613は、直線611と壁面との交点であり、直線611上の点のうち、壁面からの高さが0となる点である。
h1=h−sinΘ’ ………(6)
このように、カメラ100Aは、カメラ100Aの撮像条件と、撮像画像における注目点の位置情報に基づいて算出される注目点の座標(Φ’,Θ’)とに基づいて、実空間上で注目点が存在しうる直線を導出する。そして、カメラ100Aは、導出された直線上の点のうち、注目物体が存在する平面(床面または壁面)からの高さが、予め設定された高さとなる位置を注目点の三次元的な位置として導出する。
次に、S15において、カメラ100Aは、S14において座標変換された注視点位置をカメラ100Bによって撮像するためのカメラ100Bの撮像方向を決定する。そして、カメラ100Aは、カメラ100Bの撮像方向を制御するコマンド(パラメータ)を、ネットワーク300を介してカメラ100Bへ送信し、カメラ100Bに撮像を開始させる。
なお、S15においては、カメラ100Aは、カメラ100Bの撮像方向に加えて、カメラ100Bの撮像画角を決定し、カメラ100Bに指示してもよい。この場合、カメラ100Aは、注目物体がカメラ100Bの撮像画角内に収まるようにズーム倍率を算出する。
具体的には、情報処理装置は、注目点が床面上に存在する人物の顔である場合、導出された直線上の点のうち、床面からの高さが、人物の推定身長に相当する高さとなる位置を注目点の三次元的な位置として導出することができる。また、情報処理装置は、注目点が壁面上に存在する物体である場合、導出された直線上の点のうち、壁面からの高さが0となる位置を注目点の三次元的な位置として導出することができる。
このように、情報処理装置は、1台のカメラ100Aの撮像画像において二次元的に設定された注目点の三次元的な位置を、床面と、床面からの注視点の高さ(例えば人物の推定身長)とを拘束条件とすることで一意に算出することが可能である。したがって、注目点の三次元位置を取得するために距離センサを設ける必要がない。そのため、その分のコストを削減することができる。さらに、全方位カメラのように、フォーカス位置を取得してカメラから注視点までの距離を取得する方法を適用できない場合であっても、適切に注目点の三次元位置を算出することができる。
本実施形態の撮像システムにおいて、カメラ100Aは全方位カメラ、カメラ100BはPTZカメラとすることができる。本撮像システムでは、全方位カメラにより広範囲を監視し、注視したい物体が存在する場合、ユーザが全方位画像から注視点を指定することで、その注視点をPTZカメラに撮像させることができる。これにより、注視点の詳細画像(例えば拡大画像)を適切にユーザに提示することが可能となる。したがって、ユーザは、人物の顔や車のナンバープレートなどの詳細な情報を容易に確認することができる。
上述した第一の実施形態では、注目点が人物の顔である場合について説明した。第二の実施形態では、注目点を人物の顔とするか、注目点を人物の中心として全身を注視するか、注目点を人物の足元とするか、といった視点モードを選択可能とし、ユーザが求める視点で注視点を設定する場合について説明する。
この第二の実施形態におけるシステム構成は、上述した第一の実施形態と同様である。また、本実施形態における情報処理装置が実行する床面設定処理についても、上述した第一の実施形態と同様である。
本実施形態では、情報処理装置が実行する撮像方向指示処理が、上述した第一の実施形態とは異なる。したがって、以下、第一の実施形態とは処理の異なる部分を中心に説明する。
この図13の処理は、ユーザによりカメラ100Aの撮像画像から注目点が指定されたタイミングで実行される。ただし、図13の処理の開始タイミングは、上記のタイミングに限らない。カメラ100Aは、カメラ100Aが備えるCPUが必要なプログラムを読み出して実行することにより、図13に示す各処理を実現することができる。
本実施形態において、ユーザは、「顔アップ」モード、「全身」モード、「足元」モードの3つの視点モードを選択できるものとする。「顔アップ」モードは、上述した第一の実施形態と同様に、床面上に存在する人を注目物体とする場合、人の顔を注視するモードである。「全身」モードは、人の顔だけでなく、足元まで含んだ全身を注視するモードである。「足元」モードは、人の足元を注視するモードであり、床面から高さ0の点を注目点とするモードである。
視点モードおよび推定身長を入力するためのGUIについては後述する。
S24では、S21において決定された視点モードを考慮して、注視点の三次元位置(注視点位置)を算出する。
図14は、S23の注視属性判定において注視点の属性が床面上に存在する人物であると判定された場合の、それぞれの視点モードにおける注視点位置の算出方法を説明する図である。カメラ100Aの撮像画像から注目点として指定された点は、カメラ100Aの視点以外から見ると、図14における直線621で示される。この直線621は、カメラ100Aの撮像条件と、カメラ100Aの座標系における注目点の座標(Φ’,Θ’)から得られる。
視点モードが「顔アップ」モードである場合、S21において取得された推定身長h0を注目点の床面からの高さと定義し、直線621上の点のうち、床面622からh0の高さにある点623が、注視点としてふさわしい点であると推定される。したがって、カメラ100Aは、この点623を注視点として三次元位置を算出する。
また、視点モードが「足元」モードである場合には、直線621上の点のうち、床面622から高さ0の点625が、注視点としてふさわしい点であると推定される。したがって、カメラ100Aは、この点625を注視点として三次元位置を算出する。
なお、S23の注視属性判定において注視点の属性が床面上に存在する人物以外の物体であると判定された場合、S24における注視点位置の算出方法は、上述した第一の実施形態と同様であるので説明を省略する。
S26では、カメラ100Aは、S25において座標変換された注視点位置をカメラ100Bによって撮像するためのカメラ100Bの撮像方向を決定する。また、カメラ100Aは、S25において座標変換された注視点位置をカメラ100Bの撮像画角の中心に置き、撮像対象の領域が画角内に収まるようにズーム倍率を算出する。つまり、視点モードが「顔アップ」モードである場合には顔が大きく映るように、視点モードが「全身」モードである場合には全身が映るように、視点モードが「足元」モードである場合には足元が大きく映るように、撮像画角を決定する。そして、カメラ100Aは、カメラ100Bの撮像方向および撮像画角を制御するコマンド(パラメータ)を、ネットワーク300を介してカメラ100Bへ送信し、カメラ100Bに撮像を開始させる。
図15〜図17に示すGUI700は、クライアント装置200の表示部207に表示され、操作入力部205によって操作される。GUI700は、カメラ100Aから配信される映像を表示する映像表示部701と、カメラ100Bから配信される映像を表示する映像表示部702と、を備えることができる。また、GUI700は、視点モードの設定を変更可能なモード設定入力フォーム703と、推定身長を設定可能な推定身長入力フォーム704と、を備えることができる。
ここで、モード設定入力フォーム703は、例えばプルダウンにより構成され、ユーザは操作入力部205が備えるマウスなどの操作デバイスを用いて視点モードを選択することができる。また、推定身長入力フォーム704は、例えばプルダウンにより構成され、ユーザは操作デバイスを用いて推定身長を選択することができる。なお、視点モードおよび推定身長の指定方法は、上記に限定されない。例えば推定身長については、ユーザが推定身長の数値を直接入力する構成であってもよいし、図18に示すようなポップアップ710から、ユーザが操作デバイスを用いて予め設定された範囲内の数値を選択する構成であってもよい。
なお、「足元」モードでは、床面からの注視点の高さが0で固定であるため、推定身長入力フォーム704はユーザからの数値入力を受け付けない構成としてもよい。また、その場合、視点モードの切り替え前にユーザにより指定された推定身長を記憶しておき、視点モードの復帰時に記憶していた推定身長を自動的に選択した状態としてもよい。
つまり、情報処理装置は、ユーザによる視点モードの設定を受け付けることで、床面から注視点までの高さを示す高さ情報の設定を受け付け、注目点の三次元位置を算出する。これにより、情報処理装置は、ユーザが所望する注視点の三次元位置を適切に算出し、連携カメラに対して撮像方向を指示することができる。また、情報処理装置は、視点モードに応じてカメラ100Bの撮像画角を決定し指示することができるので、ユーザが注視したい物体が適切に撮像された映像をユーザに提示することができる。
上記各実施形態では、床面の高さが一定である場合について説明したが、床面に階段などの段差がある場合にも、情報処理装置は床面設定処理および撮像方向指示処理を実施することができる。この場合、カメラ100Aの直下の床面とは高さの異なる床面に対して床面設定処理を実施することになる。したがって、カメラ100Aの直下の床面を基準平面とし、基準平面に対する高さを示す情報を、高さの補正情報として床用マーカー401のマーカー情報として埋め込み、床面の高さの違いをカメラ100Aに通知すればよい。
つまり、図5に示す床面設定処理では、カメラ100Aは、S3においてマーカー情報を抽出した際に、上記の高さの補正情報も取得する。そして、カメラ100Aは、S4においてマップテーブルを更新する際に、S3において取得した高さの補正情報をマップテーブルへ格納する。マップテーブルの一例を図19に示す。
上述した第一の実施形態においては、予め設定された高さ情報(推定身長)h0を用いて、上記(5)式をもとに仰角の最大値ΘMAXを算出したが、床面の高さの違いを考慮する場合、高さの補正値hcを加えて仰角の最大値ΘMAX’を算出する。
ΘMAX’=arctan((h×tanΘ3)/(h−(h0+hc))) ………(7)
そして、注目点の座標値Θ’が、仰角ΘMAX’よりも小さい値であれば、注視点の属性は、床面上に存在する人物であると判定することができる。一方、注目点の座標値Θ’が、仰角ΘMAX’よりも大きい場合は、注視点の属性が、床面上に存在する人物以外の物体、つまり壁面上に存在する物体であると判定することができる。
図20は、注視点の属性が床面上に存在する人物であると判定された場合の注視点位置の算出方法を説明する図である。カメラ100Aの撮像画像から注目点として指定された点は、カメラ100Aの視点以外から見ると、図20における直線631で示される。ここで、注目する人物の推定身長が予めh0と設定されている場合、直線631上の点のうち、床面632から(h0+hc)の高さにある点633が、注視点としてふさわしい点であると推定される。したがって、カメラ100Aは、この点633を注視点として三次元位置を算出する。なお、注視点の属性が床面上に存在する人物以外の物体であると判定された場合の注視点位置の算出方法は、上述した第一の実施形態と同様である。
以上のように構成することで、床面の高さが異なる位置に存在する人物についても、適切に複数台のカメラで連携して撮像することが可能である。
このように、情報処理装置は、カメラ100Aの撮像画像を表示装置であるクライアント装置200へ表示させる表示制御を行い、撮像画像における平面領域の設定を受け付け、当該平面領域の領域情報を取得することもできる。これにより、床面領域や壁面領域をより適切に設定することが可能となる。
また、撮像画像における平面領域の設定方法は、上述したマーカーを使用する方法や撮像画像を表示させてユーザがマウス等により指定する方法に限定されない。例えば、撮像画像から動体を検知し、その動線から床面領域を推定する方法を用いることもできる。
このように、情報処理装置は、人物検出処理の検出結果に基づいて撮像画像における注目点の位置を設定するので、ユーザがカメラ100Aの撮像画像を監視して注目点を指示する手間を省くことができる。
また、上記各実施形態においては、複数の撮像装置を連携させて物体を撮像するカメラ連携システムについて説明したが、本発明はカメラ連携システム以外にも適用可能である。つまり、情報処理装置により導出された、カメラ100Aの撮像画像における注目点の三次元的な位置を、カメラ連携処理以外の処理に用いることもできる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (17)
- 第一の撮像装置により撮像された撮像画像における平面領域を示す領域情報を取得する第一の取得手段と、
前記撮像画像における注目点の位置を示す位置情報を取得する第二の取得手段と、
前記第一の取得手段により取得された領域情報と、前記第二の取得手段により取得された位置情報と、予め設定された高さ情報とに基づいて、前記注目点の三次元的な位置を導出する導出手段と、を備えることを特徴とする情報処理装置。 - 前記導出手段により導出された前記注目点を注視点として撮像するための、前記第一の撮像装置とは異なる第二の撮像装置の撮像方向を決定し、前記第二の撮像装置に当該撮像方向を指示する指示手段をさらに備えることを特徴とする請求項1に記載の情報処理装置。
- 前記指示手段は、さらに前記第二の撮像装置の撮像画角を決定し、前記第二の撮像装置に撮像画角を指示することを特徴とする請求項2に記載の情報処理装置。
- 前記導出手段は、
前記第一の撮像装置の撮像条件と、前記第二の取得手段により取得された位置情報とに基づいて、実空間上で前記注目点が存在しうる直線を導出する第一の導出手段と、
前記第一の導出手段により導出された直線上の点のうち、前記平面領域に対応する実空間上の平面からの高さが、前記高さ情報に基づく高さとなる位置を前記注目点の三次元的な位置として導出する第二の導出手段と、を備えることを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。 - 前記第一の取得手段は、前記平面領域を示す前記領域情報として、床面領域を示す領域情報および壁面領域を示す領域情報を取得し、
前記導出手段は、
前記注目点に存在する注目物体が、床面上に存在する物体であるか壁面上に存在する物体であるかを判定し、当該判定の結果に基づいて前記注目点の三次元的な位置を導出することを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。 - 前記第一の取得手段は、
前記撮像画像から識別情報を抽出して前記平面領域を設定し、前記領域情報を取得することを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - 前記第一の取得手段は、
前記撮像画像からマーカーを検出し、当該検出の結果に基づいて前記平面領域を設定し、前記マーカーに埋め込まれたマーカー情報をもとに前記領域情報を取得することを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - 前記マーカー情報は、前記平面領域の種類、前記平面領域の基準平面に対する高さ、および前記マーカーの設置位置の少なくとも1つを示す情報を含むことを特徴とする請求項7に記載の情報処理装置。
- 前記第一の取得手段は、
前記撮像画像を表示装置へ表示させ、表示された前記撮像画像における前記平面領域の設定を受け付けることで、前記領域情報を取得することを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - 前記撮像画像から人物を検出する人物検出手段をさらに備え、
前記第二の取得手段は、
前記人物検出手段による検出結果に基づいて前記撮像画像における前記注目点の位置を設定し、前記位置情報を取得することを特徴とする請求項1から9のいずれか1項に記載の情報処理装置。 - 前記第二の取得手段は、
前記撮像画像を表示装置へ表示させ、表示された前記撮像画像における前記注目点の設定を受け付けることで、前記位置情報を取得することを特徴とする請求項1から9のいずれか1項に記載の情報処理装置。 - 前記高さ情報は、前記平面領域に対応する実空間上の平面から前記注目点までの高さを示す情報であることを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。
- 前記高さ情報の設定を受け付け、前記高さ情報を取得する第三の取得手段をさらに備えることを特徴とする請求項1から12のいずれか1項に記載の情報処理装置。
- 前記注目点は、人物もしくは人物の一部であることを特徴とする請求項1から13のいずれか1項に記載の情報処理装置。
- 第一の撮像装置により撮像された撮像画像における平面領域を示す領域情報を取得するステップと、
前記撮像画像における注目点の位置を示す位置情報を取得するステップと、
前記領域情報と、前記位置情報と、予め設定された高さ情報とに基づいて、前記注目点の三次元的な位置を導出するステップと、を含むことを特徴とする情報処理方法。 - 第一の撮像装置と、
前記第一の撮像装置とは異なる第二の撮像装置と、
前記第一の撮像装置により撮像された撮像画像における平面領域を示す領域情報を取得する第一の取得手段と、
前記撮像画像における注目点の位置を示す位置情報を取得する第二の取得手段と、
前記第一の取得手段により取得された領域情報と、前記第二の取得手段により取得された位置情報と、予め設定された高さ情報とに基づいて、前記注目点の三次元的な位置を導出する導出手段と、
前記導出手段により導出された前記注目点を注視点として撮像するための前記第二の撮像装置の撮像方向を決定し、前記第二の撮像装置に当該撮像方向を指示する指示手段と、を備えることを特徴とする撮像システム。 - コンピュータを、請求項1から14のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018201368A JP7237520B2 (ja) | 2018-10-26 | 2018-10-26 | 情報処理装置、情報処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018201368A JP7237520B2 (ja) | 2018-10-26 | 2018-10-26 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020068495A true JP2020068495A (ja) | 2020-04-30 |
JP7237520B2 JP7237520B2 (ja) | 2023-03-13 |
Family
ID=70388747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018201368A Active JP7237520B2 (ja) | 2018-10-26 | 2018-10-26 | 情報処理装置、情報処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7237520B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113247722A (zh) * | 2021-06-01 | 2021-08-13 | 武汉晟泽瑞网络科技有限公司 | 一种基于机器视觉技术的电梯轿厢视频对讲控制方法及电梯云中控平台 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007233523A (ja) * | 2006-02-28 | 2007-09-13 | Hitachi Ltd | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム |
JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
JP2017103602A (ja) * | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
JP2017103607A (ja) * | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2018038087A2 (ja) * | 2016-08-22 | 2018-03-01 | 株式会社イデアクエスト | 個室見守り装置 |
-
2018
- 2018-10-26 JP JP2018201368A patent/JP7237520B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007233523A (ja) * | 2006-02-28 | 2007-09-13 | Hitachi Ltd | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム |
JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
JP2017103602A (ja) * | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
JP2017103607A (ja) * | 2015-12-01 | 2017-06-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2018038087A2 (ja) * | 2016-08-22 | 2018-03-01 | 株式会社イデアクエスト | 個室見守り装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113247722A (zh) * | 2021-06-01 | 2021-08-13 | 武汉晟泽瑞网络科技有限公司 | 一种基于机器视觉技术的电梯轿厢视频对讲控制方法及电梯云中控平台 |
Also Published As
Publication number | Publication date |
---|---|
JP7237520B2 (ja) | 2023-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107454309B (zh) | 摄像***、图像处理设备及其控制方法和记录介质 | |
KR102111935B1 (ko) | 표시 제어장치, 표시 제어방법 및 프로그램 | |
US11190698B2 (en) | Imaging apparatus, control method for imaging apparatus, information processing apparatus, and storage medium | |
CN110572564B (zh) | 信息处理设备、信息处理方法及存储介质 | |
CN110456829B (zh) | 定位跟踪方法、装置及计算机可读存储介质 | |
JP2008011497A (ja) | カメラ装置 | |
JP5183152B2 (ja) | 画像処理装置 | |
JP6624800B2 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
JP7504688B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7237520B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6269014B2 (ja) | フォーカス制御装置およびフォーカス制御方法 | |
JP6700706B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR101670247B1 (ko) | Cctv 실시간 영상의 원클릭 선택을 이용한 객체 확대 이동 시스템 및 그 방법 | |
JP2020088840A (ja) | 監視装置、監視システム、監視方法、監視プログラム | |
JP2020198468A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2004320175A (ja) | 監視カメラシステム | |
JP6483326B2 (ja) | 監視システムおよび端末装置 | |
JP2008154188A (ja) | 画像伝送システム及び画像伝送方法 | |
US20220148208A1 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP2021040249A (ja) | クライアント装置、撮像装置およびそれらの制御方法 | |
JP2005333628A (ja) | カメラ制御装置およびこれを用いた監視カメラシステム | |
JP2015133020A (ja) | 管理クライアント装置および管理システム、管理方法及びプログラム | |
JP7374692B2 (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
JP2012244311A (ja) | カメラ遠隔制御装置およびカメラ遠隔制御方法 | |
JP2024000129A (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230301 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7237520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |