JP2012065027A

JP2012065027A - 撮像装置及び撮像装置の制御方法

Info

Publication number: JP2012065027A
Application number: JP2010205731A
Authority: JP
Inventors: Ayumi Asano; 歩淺野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-09-14
Filing date: 2010-09-14
Publication date: 2012-03-29

Abstract

【課題】領域の設定が正しく行えるようユーザーに促すことを可能にする。
【解決手段】カメラの撮像部から映像を取得する画像入力手段と、前記画像入力手段から取得した撮像画像の中から一部を領域として設定する領域設定手段と、カメラの画角の変化が及ぼすカメラ機能への影響を判定する判定手段と、前記領域設定手段によって領域が設定された場合、前記判定手段によってカメラ機能の設定への影響を判定し、領域の設定によってカメラ機能に影響がある場合、警告表示する警告表示手段とを設け、カメラの画角を再設定する場合に、領域が設定されていれば、領域の設定が正しく行えるよう警告表示する。
【選択図】図１

Description

本発明は撮像装置及び撮像装置の制御方法に関し、特に、カメラの画角を再設定する際に用いて好適な技術に関するものである。

従来、パン・チルト・ズームを備えた監視カメラは、カメラで撮像している映像中に特定の意味を持たせた領域を設定できるように構成されている。領域の例としては、プライバシー保護のために映像の一部を単色の画像と重畳して隠すマスク領域や、映像中の範囲を指定しておき、その中で動体を検出するとアラームを出す検知領域などがある。

パン・チルト・ズームを備えたカメラは、その動作に合わせて領域を追従させる技術がある。パン・チルトの動作に対して映像中の隠したい領域であるマスク領域の座標を随時計算して表示したり、ズームの倍率に応じて領域の大きさを変えたりする技術がある。

このような技術を備えたカメラにおいては、通常の撮影時はマスク領域を単色の画像と重畳して隠すようにしている。しかし、マスク領域の設定の際にはマスク領域の外枠だけを表示したり半透明にしたりすることで元の映像が分かるようにし、マスクして隠したい領域の設定を容易にしている。また、撮影中は検知領域を表示しないが、設定の際には検知領域の外枠を表示し、検知領域の設定を容易にしている。

例えば、特許文献１ではマスク領域の座標の計算方法と設定方法が開示されている。パンやチルトを動作させた場合、新たなマスク位置の演算の遅延により、本来はマスクで見えないはずの領域が見える問題があった。このため、マスク表示にかかる時間的な遅延を考慮し、現在のマスク領域の座標から次の座標の位置を計算して表示することで、マスク領域のずれを改善する方法が開示されている。また、マスク領域の設定中は、映像信号とマスクの合成比率を変えて半透明にし、ユーザーはマスクの設定時に映像信号とマスク位置を同時に確認できる方法が開示されている。

特開２００９−０２７７３５号公報

しかしながら、前述の特許文献１に開示された従来技術では、パンやチルトの位置に意図しないずれが発生する場合、追従できない問題がある。例えば、カメラのメンテナンスとして一度取り外して再度設置した場合や、カメラへの外部からの衝撃でパンやチルトの位置がずれている可能性がある。

また、パンやチルトの駆動にＤＣモーターを使用している場合、モーターの停止位置精度によっては元の位置に戻らず、パンやチルトの位置がずれている可能性がある。固定カメラの場合は追従することができない。このような場合、領域の設定位置への追従を正しく行うことは不可能であり、ユーザーに再設定をしてもらう必要がある。また、領域の設定においては他の領域の設定やカメラの機能への影響は考慮されていない。
本発明は前述の問題点に鑑み、領域の追従ができない場合や、領域の設定によってカメラの機能に影響がある場合においても、領域の設定が正しく行えるようユーザーに促すことを可能にした撮像装置を提供できるようにすることを目的とする。

本発明の撮像装置は、カメラの撮像部から映像を取得する画像入力手段と、前記画像入力手段から取得した撮像画像の中から一部を領域として設定する領域設定手段と、カメラの画角の変化が及ぼすカメラ機能への影響を判定する判定手段と、前記領域設定手段によって領域が設定された場合、前記判定手段によってカメラ機能の設定への影響を判定し、領域の設定によってカメラ機能に影響がある場合、警告表示する警告表示手段とを備えたことを特徴とする。

本発明によれば、パンやチルトに意図しないずれが発生して追従できない場合や、領域の設定によってカメラの機能に影響がある場合においても、領域の設定が正しく行えるようユーザーに促すことを可能にした撮像装置を提供することができる。

第１の実施形態を示し、撮像装置の構成例を説明するブロック図である。領域やメッセージによる警告表示の例を示す図である。領域による警告表示の処理を示すフローチャートである。第２の実施形態を示し、撮像装置の構成例を説明するブロック図である。領域やメッセージによる警告表示の例を示す図である。領域とメッセージによる警告表示の処理を示すフローチャートである。メッセージによる警告表示の例を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
（第１の実施形態）
以下、図１から図３を参照して、本発明の第１の実施形態による、撮像装置について説明する。

図１は、撮像装置の各部の処理と、それを用いるユーザーを示したブロック図である。左方のブロックである撮像装置１００はパン・チルト・ズームの機構を備えており、ユーザーは撮像装置を遠隔操作できる。映像中で隠したい場所をマスク領域としてマスクしたり、映像中の動きを検出したい場所を検知領域として設定したりすることができる。

通常はパン・チルト・ズームの位置は固定された状態であるが、それらを動作、またはカメラの位置自体がずれた場合、マスク領域や検知領域は追従しないため設定し直す必要がある。ネットワークから右方のブロック図はＰＴＺ操作ツールであり、映像の表示やパン・チルト・ズーム、撮像機からのメッセージを表示することができる。

システム制御部１０１は撮像装置１００全体を制御する。撮像部１０２はＣＣＤを備えており、映像を画像信号へと変換して画像合成部１０４に送る。マスク処理部１０３は、マスクの色情報と、撮像部１０２からの撮像画像の中から一部を領域として設定し、領域中のどの位置をマスクするかを示す座標情報をシステム制御部１０１から取得し、マスク画像を生成して画像合成部１０４に送る。

画像合成部１０４は、撮像部１０２から撮像画像を取得する画像入力手段として機能し、撮像部１０２から取得した撮像画像（映像）上に、マスク処理部１０３から受けたマスク画像を重畳した画像信号を生成する。符号化部１０５は、画像合成部１０４で生成された画像信号をＪＰＥＧフォーマットで符号化して映像データを生成し、通信部１０６を通してネットワークへ送信する。映像表示部１０７は、ネットワークを通して送られた映像データを受信し、復号して表示する。マスク領域が設定された場合、映像表示部１０７には画像合成部１０４によってマスク領域が重畳された映像が表示される。さらに、メッセージ表示部１０９は、システム制御部１０１から送られるメッセージをユーザーに対して表示する。すなわち、システム制御部１０１は、メッセージ表示部１０９にメッセージを表示する。

撮像部１０２からの画像信号は検知処理部１１０にも並行して送られる。検知処理部１１０はシステム制御部１０１から検知領域の座標位置を取得し、検知領域内の画像を、フレーム間差分法を用いて画像の変化を求めることで動体の検出をする。動体の検出結果はシステム制御部１０１に送られ、通信部１０６を通してユーザーに伝達する。検知領域は動体を検知する範囲を示すものであり、通常の映像送信時には領域は表示されない。

撮像装置１００には、パン・チルト・ズームを行う機構が備えられており、ＰＴＺ制御部１１２はモーターを制御して撮像方向やズーム倍率を制御することができる。パン・チルト・ズームの制御は、ユーザーがＰＴＺ操作部１０８を操作し、動作情報がネットワークを介してシステム制御部１０１に届き、ＰＴＺ制御部１１２に伝達することで行われる。

さらに、撮像装置１００には衝撃を検出することができる衝撃センサー部１１３を備えており、衝撃を検出した場合は、衝撃フラグとして衝撃が起こったことを記録しておく。影響度判定部１１１は、マスク領域や検知領域の座標位置、衝撃センサー部１１３の衝突フラグの情報をもとに、カメラ機能への影響を判定する。判定方法とその後の警告表示について以降で詳細に説明するが、本実施形態においては、領域の種類、位置、領域の大きさによって警告表示の内容を変えるようにしている。

図２は、ユーザーへの映像表示とＰＴＺの操作とメッセージを表示するＰＴＺ操作ツールのユーザーインターフェースを示す図である。映像表示部１０７とＰＴＺ操作部１０８とメッセージ表示部１０９は、図１のブロック図のものと同じであるので、同一の符号を付している。

振動マスク領域２１は、マスク領域を振動させて強調表示したものである。マスク処理部１０３は、マスク領域が振動するようにマスク領域の座標を逐次計算し、画像合成部１０４に送る。映像表示部１０７ではマスク領域が振動するため、ユーザーはマスク領域が設定されていることを把握しやすくなる。なお、マスク領域を振動させる代わりに点滅表示させるようにしてもよい。

半透明マスク領域２２は、マスク領域を半透明にする強調表示である。画像合成部１０４は、通常は撮像部１０２からの映像信号の上にマスク処理部１０３から送られるマスク画像を重畳するが、間欠して重畳することで、マスク領域であっても後ろの映像信号が確認できる半透明のマスク領域にすることができる。この場合、マスク領域で隠したい領域と、マスク領域の位置のずれを把握しやすくなる。

拡大マスク領域２３は、マスク領域を拡大する強調表示である。設定されているマスク領域が所定の大きさよりも小さく、ユーザーによるマスク領域の存在の確認が難しい場合、マスク処理部１０３がユーザーに分かる程度の大きさにマスク領域を拡大する。この場合、システム制御部１０１は、小さいマスク領域が存在していることを、マスク領域がメッセージ表示部１０９に警告表示してもよい。

外枠付き検知領域２４は、検知領域の外枠を表示したものである。通常は検知領域は映像中に表示されることはないが、ＰＴＺの動作やカメラ位置が変わった時に表示することで、ユーザーは検知領域が設定されていることを把握しやすくなる。

システム制御部１０１は、領域の設定状況と衝撃センサー部１１３の衝突フラグの情報に応じてユーザーに領域の設定確認を促すメッセージをメッセージ表示部１０９に表示する。例えば、マスク領域が設定されていればマスク領域、検知領域が設定されていれば検知領域の設定確認を確認するようにメッセージを作成して警告表示する。衝撃センサー部１１３は撮像装置１００に衝撃があるとそれを記録している。衝撃によりパン・チルト・ズームの位置がずれている可能性があるため、その旨をメッセージとして警告表示する。

図３は、影響度判定部１１１における、カメラ機能への影響を判定し、警告表示の有無を判定する手順を示したフローチャートである。
Ｓ３１で図２に示すＰＴＺ操作ツールが開始されると、Ｓ３２で影響度判定部１１１はマスク領域の設定の有無を判定し、マスク領域が設定されている場合はＳ３３に進んで既存のマスク領域を解除する。そしてＳ３４に進み、既存のマスク領域を強調した表示をする。

Ｓ３５では、影響度判定部１１１は検知領域の設定の有無を判定する。検知領域の設定が有ると判定された場合、Ｓ３６にてシステム制御部１０１は画像合成部１０４に検知領域の外枠の座標を示した情報を送り、撮像部１０２からの映像信号に画像合成部１０４を重畳する。

このように、領域の強調表示やメッセージを警告表示することにより、領域の設定変更やパン・チルト・ズームの動作、衝撃によるカメラ位置のずれによる設定済み領域の位置ずれをユーザーに伝えようにする。これにより、正しい領域の設定で撮像装置１００を使えるよう、再設定を促すことができる。

（第２の実施形態）
以下、図４から図７を参照して、本発明の第２の実施形態による、撮像装置１００について説明する。
図４は、撮像装置１００の各部の処理と、マスク領域の設定を行うユーザーを示したブロック図である。マスク領域設定部４１、パノラマ画像記録部４２、ＰＴＺ制御部１１２、システム制御部１０１、ネットワークから右のブロック図を除いて、各部の機能は第１の実施形態の図１と同等である。

ネットワークから右側のブロック図はマスク領域設定ツールであり、ユーザーは映像表示部１０７の映像を見ながらマスク領域設定部４１を操作し、マスク領域を設定することができる。詳細は以降で説明する。

撮像装置１００にはパン・チルト・ズームを行う機構が備えられており、ＰＴＺ制御部１１２はモーターを駆動させて撮像方向やズーム倍率を制御することができる。ユーザーの指示により、システム制御部１０１はＰＴＺ制御部１１２を制御し、画角を広くした状態で、全方位を順次撮影して画像を結合することで、撮像装置１００が撮影可能な全方位の全領域を含むパノラマ画像を作ることができる。この時、マスク領域が設定されていれば、マスク領域が映り込んだパノラマ画像が作成される。パノラマ画像が作成されるとパノラマ画像記録部４２に保存される。

図５は、マスク領域設定ツールのユーザーインターフェースを示した図である。映像表示部１０７とメッセージ表示部１０９は第１の実施形態と同様である。
マスク領域設定部４１には３つのボタンがある。

また、「マスクの設定を開始する」ボタン５１が押されると映像表示部１０７上に矩形のマスク領域５４を表示し、ドラッグ・アンド・ドロップによるマスク領域５４の移動、マスク領域５４の上下左右をクリックしてマスク領域の大きさを変更することができる。

「マスクの設定を保存する」ボタン５２が押されると、「マスクの設定を開始する」ボタン５１で設定されたマスク領域５４をシステム制御部１０１に伝え、システム制御部１０１はマスク領域５４の座標情報を記憶する。

「マスクの設定を削除する」ボタン５３は、設定済みのマスク領域を選択した状態で押されると、そのマスク領域を削除するようシステム制御部１０１に伝え、システム制御部１０１は指定されたマスク領域を削除する。

図６は、図５の外枠付き検知領域５５とメッセージ表示部１０９の警告表示に関して、影響度判定部１１１の判定と制御を示したフローチャートである。
Ｓ６１でマスク領域設定ツールが開始されると、Ｓ６２で検知領域の設定の有無を判定する。検知領域の設定が無ければ、Ｓ６３でマスク領域の設定を受け付け、「マスクの設定を保存する」ボタン５２によるマスク領域の設定があれば、Ｓ６４にてマスク領域の変更を記録するようシステム制御部１０１に指示を送る。

Ｓ６２で検知領域設定有りと判定した場合、Ｓ６５にてシステム制御部１０１は検知領域の外枠を表示するよう画像合成部１０４を制御する。次にＳ６６にてマスク領域の設定を受け付け、「マスクの設定を保存する」ボタン５２によるマスク領域の設定があれば、マスク領域が検知領域と重複しないかをＳ６７で判定する。

この判定の結果、重複しない場合、Ｓ６４にてマスク領域を記録する。重複する場合、検知結果に影響があると判定し、Ｓ６８にて重複を警告するメッセージをメッセージ表示部１０９に表示し、Ｓ６４にてマスク領域を記録する。マスク領域と検知領域の重複ができないシステムの場合は、Ｓ６８の後にＳ６６に戻り、再度マスク領域の設定を受け付けてもよい。

図７は、パノラマ画像が保存されていた場合の警告表示について示したマスク領域設定ツールのユーザーインターフェースを示した図である。過去にパノラマ画像が作成されていれば、パノラマ画像記録部４２にパノラマ画像が記録されている。「マスクの設定を保存する」ボタン５２によってマスク領域７１のようにマスク領域が設定されると、パノラマ画像記録部４２に記録されたパノラマ画像にマスク領域を反映する必要がある。

影響度判定部１１１は、マスク領域７１が保存されると過去に撮影したパノラマ画像の有無を確認し、存在する場合は生成済みのパノラマ画像の再生成が必要であると判定し、メッセージ表示部１０９にパノラマ画像を再生成するようにメッセージを警告表示する。

撮像装置１００を同じ場所に再設置する時、起動後に撮影している画角内にマスク領域が無いが、画角外にマスク領域が設定されている可能性がある。その場合、ユーザーはマスク領域のずれを把握することができない。影響度判定部１１１は、再設置である場合に画角外にマスク領域があれば、マスク領域の設定の確認が必要だと判定し、画角外にあるマスク領域がずれている可能性をメッセージ表示部１０９に警告表示してもよい。同様に、再設置である場合は、パノラマ画像の再生成が必要であることをメッセージ表示部１０９に警告表示してもよい。

このように、マスク領域や検知領域の位置関係や、過去に生成されたパノラマ画像の有無を考慮することで、領域の設定によるカメラ機能への影響をユーザーに伝えることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００撮像装置、１０１システム制御部、１０２撮像部、１０３マスク処理部、１０４画像合成部、１０５符号化部、１０６通信部、１０７映像表示部、１０８ＰＴＺ操作部、１０９メッセージ表示部、１１０検知処理部、１１１影響度判定部、１１２ＰＴＺ制御部、１１３衝撃センサー部

Claims

カメラの撮像部から映像を取得する画像入力手段と、前記画像入力手段から取得した撮像画像の中から一部を領域として設定する領域設定手段と、カメラの画角の変化が及ぼすカメラ機能への影響を判定する判定手段と、前記領域設定手段によって領域が設定された場合、前記判定手段によってカメラ機能の設定への影響を判定し、領域の設定によってカメラ機能に影響がある場合、警告表示する警告表示手段とを備えたことを特徴とする撮像装置。
前記領域設定手段は、領域内を塗りつぶすマスク領域を設定するものであり、前記警告表示手段は、前記マスク領域を半透明、または点滅、または所定の大きさより小さい場合は拡大して表示することを特徴とする請求項１に記載の撮像装置。
前記警告表示手段は、領域の種類、位置、領域の大きさによって警告表示の内容を変えることを特徴とする請求項１に記載の撮像装置。
前記領域設定手段は、動体を検知する領域である検知領域を設定するものであり、前記警告表示手段は、検知領域を半透明または外枠を付けて表示することを特徴とする請求項１に記載の撮像装置。
前記警告表示手段は、前記判定手段によってカメラの画角の変化もしくはその可能性を検出した場合、領域の再設定を促すよう警告表示することを特徴とする請求項１に記載の撮像装置。
カメラの撮像部から映像を取得する画像入力手段と、前記画像入力手段から取得した撮像画像の中から一部を領域として設定する領域設定手段と、領域が及ぼすカメラ機能への影響を判定する判定手段と、領域やメッセージによる警告を表示する警告表示手段と、前記領域設定手段によって領域が設定された場合、前記判定手段によってカメラ機能の設定への影響を判定し、領域の設定によってカメラ機能に影響がある場合、警告表示する警告表示手段とを備えたことを特徴とする撮像装置。
前記領域設定手段は、領域内を塗りつぶすマスク領域と、動体を検知する領域である検知領域を設定するものであり、前記判定手段は、マスク領域と検知領域が重なる場合は検知結果に影響があると判定し、前記警告表示手段は、警告表示することを特徴とする請求項６に記載の撮像装置。
カメラが撮影可能な全領域を撮影したマスク画像を含んだパノラマ画像を生成する際に、前記領域設定手段によってマスク領域の位置が変更された場合、前記判定手段によって既に生成済みのパノラマ画像の再生成が必要なことを判定した場合、前記警告表示手段は、パノラマ画像の再生成を促す表示を行うことを特徴とする請求項６に記載の撮像装置。
カメラの撮像部から映像を取得する画像入力工程と、前記画像入力工程において取得した撮像画像の中から一部を領域として設定する領域設定工程と、カメラの画角の変化が及ぼすカメラ機能への影響を判定する判定工程と、前記領域設定工程によって領域が設定された場合、前記判定工程によってカメラ機能の設定への影響を判定し、領域の設定によってカメラ機能に影響がある場合、警告表示する警告表示工程とを備えたことを特徴とする撮像装置の制御方法。
カメラの撮像部から映像を取得する画像入力工程と、前記画像入力工程において取得した撮像画像の中から一部を領域として設定する領域設定工程と、領域が及ぼすカメラ機能への影響を判定する判定工程と、前記領域設定工程によって領域が設定された場合、前記判定工程によってカメラ機能の設定への影響を判定し、領域の設定によってカメラ機能に影響がある場合、警告表示する警告表示工程とを備えたことを特徴とする撮像装置の制御方法。
カメラの撮像部から映像を取得する画像入力工程と、前記画像入力工程において取得した撮像画像の中から一部を領域として設定する領域設定工程と、カメラの画角の変化が及ぼすカメラ機能への影響を判定する判定工程と、前記領域設定工程によって領域が設定された場合、前記判定工程によってカメラ機能の設定への影響を判定し、領域の設定によってカメラ機能に影響がある場合、警告表示する警告表示工程とを備えた撮像装置の制御方法の各工程をコンピュータに実行させるプログラム。
カメラの撮像部から映像を取得する画像入力工程と、前記画像入力工程において取得した撮像画像の中から一部を領域として設定する領域設定工程と、領域が及ぼすカメラ機能への影響を判定する判定工程と、前記領域設定工程によって領域が設定された場合、前記判定工程によってカメラ機能の設定への影響を判定し、領域の設定によってカメラ機能に影響がある場合、警告表示する警告表示工程とを備えた撮像装置の制御方法の各工程をコンピュータに実行させるプログラム。