JP5471224B2 - 撮像システム、撮像装置、情報処理装置及び撮像方法 - Google Patents

撮像システム、撮像装置、情報処理装置及び撮像方法 Download PDF

Info

Publication number
JP5471224B2
JP5471224B2 JP2009213378A JP2009213378A JP5471224B2 JP 5471224 B2 JP5471224 B2 JP 5471224B2 JP 2009213378 A JP2009213378 A JP 2009213378A JP 2009213378 A JP2009213378 A JP 2009213378A JP 5471224 B2 JP5471224 B2 JP 5471224B2
Authority
JP
Japan
Prior art keywords
coordinate system
coordinate
imaging
imaging unit
tilt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009213378A
Other languages
English (en)
Other versions
JP2011066517A (ja
Inventor
匡則 今田
祐介 金平
剛 梅村
雄一 藪下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009213378A priority Critical patent/JP5471224B2/ja
Priority to US12/870,430 priority patent/US8692879B2/en
Priority to TW099129493A priority patent/TWI429280B/zh
Priority to CN2010102761812A priority patent/CN102025912B/zh
Publication of JP2011066517A publication Critical patent/JP2011066517A/ja
Application granted granted Critical
Publication of JP5471224B2 publication Critical patent/JP5471224B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、撮像システム、撮像装置、情報処理装置及び撮像方法に関する。
デジタルスチルカメラやビデオカメラ等の撮像装置には、例えば天井などに固定されて、レンズを含む撮像部がパン方向又はチルト方向に動作することで被写体を撮影するものがある。パン方向の動作とは、撮像部を左右方向(水平方向)に回転させる動作であり、チルト方向とは、撮像部を上下方向(垂直方向)に回転させる動作である。これによって、一台の撮像装置で広範囲を撮影できる。
特許文献1では、パン動作、チルト動作が可能なカメラを使用して、撮像領域全体をパノラマ画像として撮影する技術において、撮像方向を速やかに所望の方向に移動させる撮像システムが開示されている。
特開2007−43505号公報
ところで、撮像装置の撮像部のパン動作又はチルト動作の可動範囲は、撮像装置の機構によって異なる。例えば、パン動作は360°回転可能であり、チルト動作は水平方向(0°)から水平方向に対して90°までのみ回転可能な撮像装置があったり、チルト動作は水平方向(0°)から反対側の水平方向(180°)まで回転可能な撮像装置があったりする。また、撮像装置の各種処理を行う際、撮像装置の撮像方向を表すため、撮像部のパン角度及びチルト角度を用いた座標系(以下、「パン・チルト座標系」という。)が使用されている。
ところで、パン動作が360°回転可能であり、チルト動作が水平方向(0°)から反対側の水平方向(180°)まで回転可能な撮像装置では、撮像部の絶対的位置は異なるが撮像方向は同一となる2つの位置が存在する。即ち、撮像部の絶対的位置を基準としたパン・チルト座標系で表すと、(パン角度,チルト角度)=(0°,0°)と(パン角度,チルト角度)=(−180°,−180°)はいずれも同一方向にある被写体を撮影する。
しかし、撮像装置において、パン動作又はチルト動作の回転軸と撮像装置100の中心軸がずれているなど、機構上に誤差があることがある。そのため、(パン角度,チルト角度)=(0°,0°)と(パン角度,チルト角度)=(−180°,−180°)は、撮像部が必ずしも同一の位置になるとは限らず、撮像方向にずれが生じる場合がある。
また、撮像部の絶対的位置を基準としたパン・チルト座標系を用いる場合、同じ撮像方向を表すのに2通りの座標値が存在するため、撮像装置が捉えた被写体像の位置を表現しにくいという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、パン動作が360°回転可能であり、チルト動作が水平方向(0°)から反対側の水平方向(180°)まで回転可能な機構を有するときに、撮像部の位置を適切に特定し、かつ画面内の被写体像の位置を適切に特定することが可能な、新規かつ改良された撮像システム、撮像装置、情報処理装置及び撮像方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、被写体からの光を受光し、パン動作及びチルト動作が可能な撮像部のパン方向及びチルト方向の位置を検出する位置検出部と、撮像部のパン方向及びチルト方向の位置を表す第一の座標系、及び撮像部が捉えた被写体の画面内における被写体像の位置を表す第二の座標系のうちいずれの座標系を使用するかを決定する座標系決定部と、第一の座標系を使用する場合、検出された撮像部の位置に基づいて、第一の座標系における撮像部の位置を表す座標を算出し、第二の座標系を使用する場合、検出された撮像部の位置に基づいて、第二の座標系における被写体像の位置を表す座標を算出する座標算出部とを備える、撮像システムが提供される。
上記第二の座標系におけるチルト方向の座標軸は、第一の方向を0°とし、第一の方向に対して垂直方向までを0°〜−90°に設定したものであり、第一の方向から180°の方向である第二の方向についても0°とし、第二の方向に対して垂直方向までを0°〜−90°に設定したものであってもよい。
上記第二の座標系において、チルト方向の座標軸の二つの0°の方向が、それぞれパン方向及びチルト方向について調整されていてもよい。
上記第一の座標系は、撮像部の位置を唯一の座標で特定する座標系であり、撮像部を駆動する駆動部の制御、又は絶対的な位置を指定して撮像部を移動させる場合に使用され、第二の座標系は、画面内の一部の領域に被写体像を特定できないようにマスクをかけるプライバシーマスキング処理、被写体像の名称を被写体像に重ねて画面に表示するエリアマスキング処理、又は特定の被写体像を検出してその被写体像に対してズームするエリアズーム処理に使用されてもよい。
上記第一の座標系におけるパン方向の座標軸は、第三の方向を0°とし、時計回り方向を0°〜+180°まで設定し、反時計回りを0°〜−180°まで設定したものであってもよい。
上記第一の座標系におけるチルト方向の座標軸は、第四の方向を0°とし、第四の方向に対して垂直方向を−90°に設定し、0°〜−180°まで設定したものであってもよい。
上記第二の座標系におけるパン方向の座標軸は、第五の方向を0°とし、時計回り方向を0°〜+180°まで設定し、反時計回りを0°〜−180°まで設定したものであってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、被写体からの光を受光し、パン動作及びチルト動作が可能な撮像部のパン方向及びチルト方向の位置を検出する位置検出部と;撮像部のパン方向及びチルト方向の位置を表す第一の座標系、及び撮像部が捉えた被写体の画面内における被写体像の位置を表す第二の座標系のうちいずれの座標系を使用するかを決定する座標系決定部と、第一の座標系を使用する場合、検出された撮像部の位置に基づいて、第一の座標系における撮像部の位置を表す座標を算出し、第二の座標系を使用する場合、検出された撮像部の位置に基づいて、第二の座標系における被写体像の位置を表す座標を算出する座標算出部とを有する遠隔制御装置に検出された位置を送信する位置送信部と;を備える撮像装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、被写体からの光を受光し、パン動作及びチルト動作が可能な撮像部のパン方向及びチルト方向の位置を検出する位置検出部を有する撮像装置から検出された位置を受信する位置受信部と;撮像部のパン方向及びチルト方向の位置を表す第一の座標系、及び撮像部が捉えた被写体の画面内における被写体像の位置を表す第二の座標系のうちいずれの座標系を使用するかを決定する座標系決定部と;第一の座標系を使用する場合、検出された撮像部の位置に基づいて、第一の座標系における撮像部の位置を表す座標を算出し、第二の座標系を使用する場合、検出された撮像部の位置に基づいて、第二の座標系における被写体像の位置を表す座標を算出する座標算出部と;を備える情報処理装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、被写体からの光を受光し、パン動作及びチルト動作が可能な撮像部のパン方向及びチルト方向の位置を検出するステップと、撮像部のパン方向及びチルト方向の位置を表す第一の座標系、及び撮像部が捉えた被写体の画面内における被写体像の位置を表す第二の座標系のうちいずれの座標系を使用するかを決定するステップと、第一の座標系を使用する場合、検出された撮像部の位置に基づいて、第一の座標系における撮像部の位置を表す座標を算出し、第二の座標系を使用する場合、検出された撮像部の位置に基づいて、第二の座標系における被写体像の位置を表す座標を算出するステップとを備える撮像方法が提供される。
以上説明したように本発明によれば、パン動作が360°回転可能であり、チルト動作が水平方向(0°)から反対側の水平方向(180°)まで回転可能な機構を有するときに、撮像部の位置を適切に特定し、かつ画面内の被写体像の位置を適切に特定することができる。
本発明の一実施形態に係る撮像システムを示すブロック図である。 同実施形態に係る撮像装置100を示すブロック図である。 同実施形態に係る遠隔制御装置200を示すブロック図である。 同実施形態に係る撮像装置100を示す側面図(A)及び下面図(B)である。 同実施形態に係る撮像装置100を示す側面図(A)及び下面図(B)である。 同実施形態に係る撮像装置100を示す側面図(A)及び下面図(B)である。 同実施形態に係る撮像装置100を示す側面図(A)及び下面図(B)である。 同実施形態に係る撮像装置100を示す側面図(A)及び下面図(B)である。 同実施形態に係る撮像装置100を概略的に示した下面図(A)及び側面図(B)である。 同実施形態に係る撮像装置100を概略的に示した下面図(A)及び側面図(B)である。 撮像装置100によって撮影して得られた被写体像10が表示された画面20を示す説明図である。 同実施形態の撮像システムで用いられる第一の座標系を示す説明図である。 同実施形態の撮像システムで用いられる第二の座標系を示す説明図である。 同実施形態に係る撮像システムでも用いられる座標系の変更例を示す説明図である。 同実施形態に係る撮像システムでも用いられる座標系の変更例を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.撮像システムの構成
2.撮像装置100の動作
3.撮像システムにおける座標系の決定
<1.撮像システムの構成>
[撮像システム]
まず、図1を参照して、本発明の一実施形態に係る撮像システムについて説明する。図1は、本実施形態に係る撮像システムを示すブロック図である。
本実施形態に係る撮像システムは、例えば撮像装置100と遠隔制御装置200からなる。図1に示す例では、一つの撮像装置100と一つの遠隔制御装置200が接続される場合について示したが、一つの遠隔制御装置200に対して複数の撮像装置100が接続してもよい。
撮像装置100は、ビデオカメラ又は監視カメラ等であり、被写体を撮影し、画像データを生成する。撮像装置100は、撮影して得られた画像データを遠隔制御装置200に送る。撮像装置100は、遠隔制御装置200からの操作信号に基づいて撮像部102を回転させたり、ズーム撮影したりする。また、撮像装置100は、撮像装置100の撮像部102の動作や状態を示す動作データを遠隔制御装置200に送る。
遠隔制御装置200は、例えばパーソナルコンピュータ、監視盤などの情報処理装置であり、一又は複数の撮像装置100と接続されて、撮像装置100からの画像を表示したり、撮像装置100を遠隔操作したりする。遠隔制御装置200は、撮像装置100から画像データや、撮像装置100の撮像部102の動作や状態を示す動作データを受ける。また、遠隔制御装置200は、ユーザーによる操作を介して操作信号を撮像装置100に送る。
[撮像装置100]
次に、本実施形態に係る撮像装置100の機能ブロックに関する構成について説明する。図2は、本実施形態に係る撮像装置100を示すブロック図である。
撮像装置100は、例えば、撮像部102と、駆動部104と、CPU106と、メモリ108と、画像処理部112と、圧縮処理部114と、通信制御部116などからなる。
撮像部102は、レンズなどの光学系、CCDイメージセンサー又はCMOSイメージセンサーなどの撮像素子、前処理部などからなる。撮像部102は、被写体からの光情報を電気信号に変換し、画像信号として信号を画像処理部112などに送る。撮像部102は、パン方向及びチルト方向に動作する。本実施形態の撮像装置100は、パン動作が360°回転可能であり、チルト動作が水平方向(0°)から反対側の水平方向(180°)まで回転可能な機構を有する。
駆動部104は、撮像部102がパン動作やチルト動作するように撮像部102を回転駆動する。また、駆動部104は、撮像部102の光学系を駆動して、撮像部102をズーム動作させたり、フォーカス動作させたりする。また、駆動部104は、位置検出部の一例であり、撮像部102のパン方向及びチルト方向の位置を検出して、検出結果を遠隔制御装置200に送る。
CPU(Central Processing Unit)106は、演算処理装置、制御装置などであり、メモリ108に記録されたプログラムを実行する。メモリ108には、CPU106で実行されるプログラムが記録され、CPU106においてプログラムが実行される際に読み出される。
画像処理部112は、撮像部102から受けた画像信号に対して各種画像処理を施す。画像処理がされた画像データは、圧縮処理部114に送られたり、通信制御部116を介して遠隔制御装置200に送られたりする。
圧縮処理部114は、画像処理がされた画像データを例えばJPEG方式などで符号化処理(圧縮処理)する。圧縮処理された画像データは、通信制御部116を介して遠隔制御装置200に送られる。
通信制御部116は、例えば有線通信又は無線通信などによるデータ伝送を制御する。本実施形態では、遠隔制御装置200に画像データや動作データを送信したり、反対に操作信号などを遠隔制御装置200から受信したりする。通信制御部116は、位置送信部の一例であり、撮像部102のパン方向及びチルト方向の位置を含む動作データを送信する。
次に、図4〜図8を参照して、本実施形態に係る撮像装置100の外観の構成について説明する。図4〜図8は、本実施形態に係る撮像装置100を示す側面図(A)及び下面図(B)である。
本実施形態に係る撮像装置100は、例えば、本体部120と、支持部材130、回転軸材132,134、支持台136などからなる。
本体部120は、撮像部102、CPU106などが設けられた撮像装置100の本体部分であり、支持部材130、回転軸材132,134、支持台136などによって天井1に設置される。本体部120は、支持部材130、回転軸材132,134が回転することによって、パン方向に動作したり、チルト方向に動作したりする。本体部120は、パン動作が360°回転可能であり、チルト動作が水平方向(0°)から反対側の水平方向(180°)まで回転可能である。
支持部材130は、上側で回転軸材134、支持台136を介して天井1に接続され、下側で、回転軸材132を介して本体部120と接続される。
回転軸材132は、一端が本体部120と接続され、他端が支持部材130と接続される。回転軸材132は、軸方向が水平方向に設けられ、本体部120を回転軸材132の軸方向を中心軸として回転させる。その結果、本体部120は、垂直方向(チルト方向)に動作する。
また、回転軸材134は、一端が支持台136と接続され、他端が支持部材130と接続される。回転軸材134は、軸方向が垂直方向に設けられ、本体部120及び支持部材130を回転軸材134の軸方向を中心軸として回転させる。その結果、本体部120は、水平方向(パン方向)に動作する。
[遠隔制御装置200]
次に、本実施形態に係る遠隔制御装置200の構成について説明する。図3は、本実施形態に係る遠隔制御装置200を示すブロック図である。
遠隔制御装置200は、例えば、メモリ202と、記憶部204と、通信制御部206と、CPU210と、操作部220と、表示部230などからなる。
メモリ202には、CPU210で実行されるプログラムが記録され、CPU210においてプログラムが実行される際に読み出される。
記憶部204は、例えばHDD、フラッシュメモリなどであり、撮像装置100で撮影された画像データを記録したり、記録された画像データを読み出したりする。
通信制御部206は、例えば有線通信又は無線通信などによるデータ伝送を制御する。本実施形態では、撮像装置100から画像データや動作データを受け、撮像装置100に操作信号を送る。通信制御部206は、位置受信部の一例であり、撮像部102のパン方向及びチルト方向の位置を含む動作データを受信する。
CPU(Central Processing Unit)210は、演算処理装置、制御装置などであり、メモリ202に記録されたプログラムを実行する。本実施形態のCPU210は、座標系決定部212や座標算出部214などを有する。
座標系決定部212は、撮像装置100に関する各種処理において、撮像部102のパン方向及びチルト方向の位置を表す第一の座標系、及び撮像部102が捉えた被写体の画面内における位置を表す第二の座標系のうちいずれの座標系を使用するかを決定する。
座標算出部214は、第一の座標系を使用する場合、検出された撮像部102の位置に基づいて、第一の座標系における撮像部102の位置を表す座標を算出する。また、座標算出部214は、第二の座標系を使用する場合、検出された撮像部102の位置に基づいて、第二の座標系における被写体の画面内における位置を表す座標を算出する。
操作部220は、例えばキーボード、マウス、スティックコントローラなどである。操作部220は、ユーザーの操作を受け付けて、操作信号を生成し、CPU210や、通信制御部206を介して撮像装置100などに操作信号を送る。
表示部230は、例えば液晶ディスプレイ、有機ELディスプレイなどである。表示部230は、撮像装置100で撮影された被写体を画面に表示する。また、撮像装置100又は遠隔制御装置200の各種設定に関するメニューや、画像処理設定に関するアプリケーションを画面に表示する。
なお、遠隔制御装置200が座標軸を決定したり、座標を算出したりする処理は、撮像装置100で実行できるようにしてもよい。このとき、座標系決定部212や座標算出部214が行う処理は、撮像装置100のCPU106で行われる。
<2.撮像装置100の動作>
次に、図4〜図8を参照して、本実施形態に係る撮像装置100のパン動作及びチルト動作について説明する。本実施形態に係る撮像装置100は、上述した通り、パン動作が360°回転可能であり、チルト動作が水平方向(0°)から反対側の水平方向(180°)まで回転可能な機構を有する。
まず、撮像装置100のパン動作について説明する。
図4(A),図4(B)に示す本体部120の位置が、パン角度=0°であるとする。図4(A),図4(B)では、撮像装置100は図面上の右側を撮影している。そして、図5(A),図5(B)は、図4(A),図4(B)の状態から、回転軸材134の軸方向を中心として本体部120が90°回転して、本体部120の位置がパン角度=90°となったときを示している。更に、図6(A),図6(B)は、図4(A),図4(B)の状態から、回転軸材134の軸方向を中心として本体部120が180°回転して、本体部120の位置がパン角度=180°となったときを示している。図6(A),図6(B)では、撮像装置100は図面上の左側を撮影している。
このように、撮像装置100は、パン動作のみによって、パン角度=0°のときの撮影方向と反対の方向を撮影できる。
次に、撮像装置100のチルト動作について説明する。
図4(A),図4(B)に示す本体部120の位置が、パン角度=0°、チルト角度=0°であるとする。図4(A),図4(B)では、撮像装置100は図面上の右側を撮影している。そして、図7(A),図7(B)は、図4(A),図4(B)の状態から、回転軸材132の軸方向を中心として本体部120が90°回転して、本体部120の位置がチルト角度=−90°となったときを示している。更に、図8(A),図8(B)は、図4(A),図4(B)の状態から、回転軸材132の軸方向を中心として本体部120が180°回転して、本体部120の位置がチルト角度=−180°となったときを示している。
このように、撮像装置100は、チルト動作のみによって、パン角度=0°、チルト角度=0°のときの撮影方向と反対の方向を撮影できる。
以上の動作によれば、パン角度=0°、チルト角度=0°のときの撮影方向と反対の方向を撮影するためには、パン動作のみの移動による場合と、チルト動作のみの移動による場合がある。しかし、2つの動作の結果得られる本体部120の向きは、図6と図8に示すように、撮像方向は同一であるが、本体部120の上下方向は反対である。即ち、図4に示す位置では、本体部120の第一の面120Aは下側にあり、第二の面120Bは上側にある。そして、パン動作のみによって図6に示す位置に移動したときは、第一の面120Aは下側のままであり、第二の面120Bは上側のままである。一方、チルト動作のみによって図8に示す位置に移動したときは、第一の面120Aは上側になり、第二の面120Bは下側になる。
この場合、パン動作のみによって移動したときは、撮像装置100が撮影して得られる出力画像は上下さかさまにする必要はなく、画像の上下の向きをそのままで使用できる。一方、チルト動作のみによって移動したときは、撮像装置100が撮影して得られる出力画像は上下さかさまにする画像処理を施す必要がある。これによって初めて、被写体の上下方向と画像の上下方向を一致させることができる。
このように、パン角度=0°、チルト角度=0°のときの撮影方向と反対の方向を撮影するためには、2通りの移動方法があるが、撮像装置100の機構上の観点と出力画像の観点では、両者は一致しない。なお、本体部120が、ある位置からその他の位置に移動する場合、特にチルト角度が90度を超えて移動する場合は、上述したケースと同様に、2通りの移動方法がある。そして、両者は撮像装置100の機構上の観点と出力画像の観点で一致しない。
撮像装置100の機構上の観点から両者が一致しないという点では、更に、次に述べる問題が発生する。即ち、パン動作の回転軸又はチルト動作の回転軸と、撮像装置100本体の中心軸は、必ずしも一致しない。そのため、上述した2通りの本体部120の移動方法が存在する場合、移動方法の違いによって、撮影方向が同一でも同一の被写体がずれて撮影される場合がある。
図9及び図10は、本実施形態に係る撮像装置100を概略的に示した下面図(A)及び側面図(B)である。図9は、撮像装置100がパン動作をする場合を示しており、図10は、撮像装置100がチルト動作をする場合を示している。図11は、撮像装置100が撮影して得られる被写体像10が表示された画面20を示す説明図である。図11(A)は、図9のパン動作の結果得られる画面20であり、図11(B)は、図10のチルト動作の結果得られる画面20である。
本体部120が、パン角度180°の移動によって、撮像方向Aから撮像方向Bに移動する場合、図9に示すように、パン動作の回転軸OMと撮像装置100の本体部120の中心軸が水平面内でDだけずれているとする。このとき、図11(A)に示すように、撮像方向Bで捉えた被写体10が画面20の中心に存在する。そして、撮像方向Bを向いているときの本体部120の位置を表す座標が(p,t)であるとする。
一方、図10に示すように、チルト動作の回転軸OMと撮像装置100の本体部120の中心軸が垂直面内でDだけずれているとする。このとき、本体部120が、チルト角度180°の移動によって、撮像方向Aから先ほどの撮像方向Bに移動しようとしても、単純にチルト角度180°分移動するだけでは、撮像方向はBとなり、撮像方向Bとは一致しない。このとき、図11(B)に示すように、撮像方向Bで捉えた被写体10は、画面20の中心からずれて存在する。そして、撮像方向Bを向いているときの本体部120の位置を表す座標が(p,t)であるとする。
以上まとめると、回転前の本体部120の位置を表す座標が(p,t)であるとすると、パン角度180°の移動後は、本体部120の位置を表す座標が(p,t)である。また、チルト角度180°の移動後は、本体部120の位置を表す座標が(p,t)である。即ち、回転前は同一位置にあっても、移動方法によって回転後の位置がずれる。
パン動作の回転軸又はチルト動作の回転軸と、撮像装置100本体の中心軸が一致していれば、2通りの移動方法がある場合でも、本体部120の位置を一致させることができる。その結果、被写体を同一位置に捉えることができるが、上述したようにパン動作の回転軸又はチルト動作の回転軸と、撮像装置100本体の中心軸にずれがある場合は、被写体を同一位置に捉えることができない。
<3.撮像システムにおける座標系>
次に、本実施形態の撮像システムにおける座標系について説明する。
撮像装置100の撮像方向を表すため、本体部120(撮像部102)のパン角度及びチルト角度を用いた座標系(以下、「パン・チルト座標系」という。)を使用する。
本実施形態の撮像装置100は、パン動作が360°回転可能であり、チルト動作が水平方向(0°)から反対側の水平方向(180°)まで回転可能である。このような機構を有する場合では、本体部120の絶対的位置は異なるが撮像方向は同一となる2つの位置が存在する。即ち、本体部120の絶対的位置を基準としたパン・チルト座標系で表すと、(パン角度,チルト角度)=(0°,0°)と(パン角度,チルト角度)=(−180°,−180°)はいずれも同一方向にある被写体を撮影する。
そして、パン動作の回転軸又はチルト動作の回転軸と、撮像装置100本体の中心軸にずれがなければ、画面内の被写体像の位置を一致させることができる。しかし、パン動作の回転軸又はチルト動作の回転軸と、撮像装置100本体の中心軸にずれがある場合は、被写体像の位置にずれが生じてしまう。
ところで、発明者らは、撮像装置100の撮像方向をパン・チルト座標系によって表すケースは、大きく2通りに分類されることが知見として得ることができた。即ち、一つには、本体部120の絶対的な位置をパン・チルト座標系によって表す第一のケースであり、もう一つには、画面内の被写体像の位置をパン・チルト座標系によって表す第二のケースである。
従来、撮像装置100の撮像方向を座標によって表すケースは、2通りに分類されることがなく、両者は同じものであるかのように扱われていた。そこで、本実施形態では、パン・チルト座標系を2種類用意しておき、用途に応じていずれか一方を選択できることとした。
第一の座標系は、撮像装置100の本体部120のパン方向及びチルト方向の絶対的な位置を表す座標である。図12は、本実施形態の撮像システムで用いられる第一の座標系を示す説明図である。図12(A)はパン方向の座標軸であり、図12(B)はチルト方向の座標軸である。第二の座標系は、撮像装置100が捉えた被写体の画面内における被写体像の位置を表す座標である。図13は、本実施形態の撮像システムで用いられる第二の座標系を示す説明図である。図13(A)はパン方向の座標軸であり、図13(B)はチルト方向の座標軸である。
第一の座標系におけるパン方向の座標軸は、図12(A)に示す通り、一の方向を0°とし、時計回り方向を0°〜+180°まで設定し、反時計回りを0°〜−180°まで設定したものである。第一の座標系におけるチルト方向の座標軸は、一の方向(水平方向)を0°とし、一の方向に対して垂直方向を−90°に設定し、0°〜−180°まで設定したものである。
第一の座標系は、本体部120の位置を唯一の座標で特定することが可能な座標系である。第一の座標系は、撮像装置100の本体部120を駆動するモーター(駆動部104)の制御や、絶対的な位置を指定して本体部120を移動する場合(例えばプリセットポジション)に使用される。
本体部120の絶対的な位置を唯一の座標で指定できるため、パン動作の回転軸又はチルト動作の回転軸と、撮像装置100本体の中心軸がずれている場合に利点がある。例えば、図9及び図10を用いて示したケースでは、(パン角度,チルト角度)=(0°,0°)から(180°,0°)へ移動する場合(図9)と、(0°,−180°)へ移動する場合(図10)を区別することができる。また、図示しないが、(パン角度,チルト角度)=(0°,0°)と(−180°,−180°)はいずれも同じ撮像方向を撮影できるが、本体部120の上下方向が異なる。第一の座標系を用いれば、両者を区別できる。
以上より、第一の座標系は、位置再現性が良い座標系であるといえる。
一方、第二の座標系におけるパン方向の座標軸は、図13(A)に示す通り、一の方向を0°とし、時計回り方向を0°〜+180°まで設定し、反時計回りを0°〜−180°まで設定したものである。第二の座標系におけるチルト方向の座標軸は、第1方向(水平方向)を0°とし、第1方向に対して垂直方向までを0°〜−90°に設定したものである。更に、第1方向(水平方向)から180°の方向(水平方向、第2方向)についても0°とし、第2方向に対して垂直方向までを0°〜−90°に設定したものである。
第二の座標系は、チルト方向の座標軸を0〜−90°の範囲でのみ表すこととしているため、画面内の被写体像の位置を表すときに利点がある。即ち、第一の座標系を使用すると、被写体像の位置を表すのに、2つの異なる座標値が存在することになり、アプリケーション上においてパン・チルト座標系を使用する際複雑になるという問題があった。例えば、パン・チルト座標系を使用した処理において、二つの座標値それぞれに必要な情報を設定する必要があるか、二つの座標値が同一であるように認識させる必要があった。ここで、パン・チルト座標系を使用した処理とは、例えばプライバシーマスキング、エリアタイトリング、又はエリアズームなどの処理であり、第二の座標系はこれらの処理を行う際に適している。
プライバシーマスキングは、画面内の一部の領域に被写体像を特定できないようにマスクをかける処理である。エリアタイトリングは、例えば被写体像の名称を被写体像に重ねて画面に表示する処理である。エリアズームは、特定の被写体像を検出してその被写体像に対してズームする処理である。これらの処理は、処理上の計算を単純化できる第二の座標系を適用するとよい。
更に、第二の座標系を使用する場合、チルト方向の座標軸の二つの0°の方向をパン方向及びチルト方向について調整しておけば、特定の位置を指定して被写体像を撮影する場合(プリセットポジション)において、正確な位置を指定できる。即ち、第一の座標系で表したとき、(パン角度,チルト角度)=(0°,0°)と(−180°,−180°)において、被写体像が画面でずれている場合、被写体像が一致する本体部120の位置を検出する。このとき、(0°,0°)と(−179°,−178°)において、被写体像が一致するのであれば、(−179°,−178°)のほうを第二の座標系の(−180°,0°)又は(+180°,0°)に設定して、記憶しておく。これにより、第二の座標系において、特定の位置を指定して被写体像を撮影する場合に、正確な位置を指定できる。
第二の座標系は、画面内の被写体像の位置を表すときに利点がある。更に、チルト動作が水平方向(0°)から反対側の水平方向(180°)まで回転可能ではなく、垂直方向(90°)までのみ回転可能な機構を有する撮像装置と同様にユーザーが撮像装置100を制御できる。
次に、撮像装置100の本体部120の絶対的な位置に基づいて第二の座標系の座標を算出する方法について説明する。
本体部120の絶対的な位置において、チルト角度が−90°を超えた場合は、第二の座標系に合うようにチルト角度の変換を行う。例えば、次のようなプログラミングで実現できる。
pan=−180°〜+180°
tilt=−180°〜0°
において、
if(tilt<−90° (b)){
tilt=−90°+(−90° (a)−tilt);
if(pan<0°){
pan=pan+180° (a)
}else{
pan=pan−180° (a)

ここで、上述したように、第二の座標系で正確な被写体の位置を指定できるように座標軸を調節するためには、上付き(a)で示した角度を調整することになる。上付き(b)で示した角度を例えば100°とすれば、図15に示すように、第二の座標系におけるチルト方向の座標軸は、第一の方向(水平方向)を0°とし、第一の方向に対して−100°まで設定したものである。更に、第一の方向(水平方向)から180°の方向(水平方向、第二の方向)についても0°とし、第二の方向に対して−100°まで設定することもできる。図15は、本実施形態に係る撮像システムでも用いられる座標系の変更例を示す説明図である。
以上、撮像装置100における各種処理に応じて、座標系を選択し、それぞれの座標系のもとで撮像装置100の本体部120(撮像部102)の座標位置を算出する。これにより、パン動作が360°回転可能であり、チルト動作が水平方向(0°)から反対側の水平方向(180°)まで回転可能な機構を有するときに、撮像部102の位置を適切に特定し、かつ画面内の被写体像の位置を適切に特定することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態では、角度の単位は度(°)を単位としたが、本発明はこの例に限定されない。例えば図14に示すように角度は16進数で表してもよい。更に、上述した実施形態では、チルト方向の座標軸において水平方向を0(°)に設定したが、本発明はこの例に限定されない。図14(B)に示すように、水平方向に対して−45°の位置を基準方向(0)としてもよい。図14は、本実施形態に係る撮像システムでも用いられる座標系の変更例を示す説明図である。
また、撮像装置100が天井に設置される場合について説明したが、本発明はこの例に限定されない。例えば、撮像装置の下側が固定されてチルト動作する場合についても、本発明を適用できる。
100 撮像装置
200 遠隔制御装置
102 撮像部
104 駆動部
106,210 CPU
108,202 メモリ
112 画像処理部
114 圧縮処理部
116,206 通信制御部
120 本体部
130 支持部材
132,134 回転軸材
136 支持台
204 記憶部
220 操作部
230 表示部

Claims (8)

  1. 被写体からの光を受光し、パン動作及びチルト動作が可能な撮像部のパン方向及びチルト方向の位置を検出する位置検出部と、
    前記撮像部の前記パン方向及び前記チルト方向の位置を表す第一の座標系、及び前記撮像部が捉えた前記被写体の画面内における被写体像の位置を表す第二の座標系のうちいずれの座標系を使用するかを決定する座標系決定部と、
    前記第一の座標系を使用する場合、前記検出された前記撮像部の位置に基づいて、前記第一の座標系における前記撮像部の位置を表す座標を算出し、前記第二の座標系を使用する場合、前記検出された前記撮像部の位置に基づいて、前記第二の座標系における前記被写体像の位置を表す座標を算出する座標算出部と
    を備え
    前記第二の座標系におけるチルト方向の座標軸は、第一の方向を0°とし、前記第一の方向に対して垂直方向までを0°〜−90°に設定したものであり、前記第一の方向から180°の方向である第二の方向についても0°とし、前記第二の方向に対して垂直方向までを0°〜−90°に設定したものであり、
    前記第二の座標系において、チルト方向の座標軸の二つの0°の方向が、それぞれパン方向及びチルト方向について調整されている、撮像システム。
  2. 前記第一の座標系は、前記撮像部の位置を唯一の座標で特定する座標系であり、前記撮像部を駆動する駆動部の制御、又は絶対的な位置を指定して前記撮像部を移動させる場合に使用され、
    前記第二の座標系は、前記画面内の一部の領域に前記被写体像を特定できないようにマスクをかけるプライバシーマスキング処理、前記被写体像の名称を前記被写体像に重ねて画面に表示するエリアマスキング処理、又は特定の前記被写体像を検出してその前記被写体像に対してズームするエリアズーム処理に使用される、請求項1に記載の撮像システム。
  3. 前記第一の座標系におけるパン方向の座標軸は、第三の方向を0°とし、時計回り方向を0°〜+180°まで設定し、反時計回りを0°〜−180°まで設定したものである、請求項1または2に記載の撮像システム。
  4. 前記第一の座標系におけるチルト方向の座標軸は、第四の方向を0°とし、前記第四の方向に対して垂直方向を−90°に設定し、0°〜−180°まで設定したものである、請求項1〜のいずれか1項に記載の撮像システム。
  5. 前記第二の座標系におけるパン方向の座標軸は、第五の方向を0°とし、時計回り方向を0°〜+180°まで設定し、反時計回りを0°〜−180°まで設定したものである、請求項1〜のいずれか1項に記載の撮像システム。
  6. 被写体からの光を受光し、パン動作及びチルト動作が可能な撮像部のパン方向及びチルト方向の位置を検出する位置検出部と;
    前記撮像部の前記パン方向及び前記チルト方向の位置を表す第一の座標系、及び前記撮像部が捉えた前記被写体の画面内における被写体像の位置を表す第二の座標系のうちいずれの座標系を使用するかを決定する座標系決定部と、前記第一の座標系を使用する場合、前記検出された前記撮像部の位置に基づいて、前記第一の座標系における前記撮像部の位置を表す座標を算出し、前記第二の座標系を使用する場合、前記検出された前記撮像部の位置に基づいて、前記第二の座標系における前記被写体像の位置を表す座標を算出する座標算出部とを有する遠隔制御装置に前記検出された位置を送信する位置送信部と;
    を備え
    前記第二の座標系におけるチルト方向の座標軸は、第一の方向を0°とし、前記第一の方向に対して垂直方向までを0°〜−90°に設定したものであり、前記第一の方向から180°の方向である第二の方向についても0°とし、前記第二の方向に対して垂直方向までを0°〜−90°に設定したものであり、
    前記第二の座標系において、チルト方向の座標軸の二つの0°の方向が、それぞれパン方向及びチルト方向について調整されている、撮像装置。
  7. 被写体からの光を受光し、パン動作及びチルト動作が可能な撮像部のパン方向及びチルト方向の位置を検出する位置検出部を有する撮像装置から前記検出された位置を受信する位置受信部と;
    前記撮像部の前記パン方向及び前記チルト方向の位置を表す第一の座標系、及び前記撮像部が捉えた前記被写体の画面内における被写体像の位置を表す第二の座標系のうちいずれの座標系を使用するかを決定する座標系決定部と;
    前記第一の座標系を使用する場合、前記検出された前記撮像部の位置に基づいて、前記第一の座標系における前記撮像部の位置を表す座標を算出し、前記第二の座標系を使用する場合、前記検出された前記撮像部の位置に基づいて、前記第二の座標系における前記被写体像の位置を表す座標を算出する座標算出部と;
    を備え
    前記第二の座標系におけるチルト方向の座標軸は、第一の方向を0°とし、前記第一の方向に対して垂直方向までを0°〜−90°に設定したものであり、前記第一の方向から180°の方向である第二の方向についても0°とし、前記第二の方向に対して垂直方向までを0°〜−90°に設定したものであり、
    前記第二の座標系において、チルト方向の座標軸の二つの0°の方向が、それぞれパン方向及びチルト方向について調整されている、情報処理装置。
  8. 被写体からの光を受光し、パン動作及びチルト動作が可能な撮像部のパン方向及びチルト方向の位置を検出するステップと、
    前記撮像部の前記パン方向及び前記チルト方向の位置を表す第一の座標系、及び前記撮像部が捉えた前記被写体の画面内における被写体像の位置を表す第二の座標系のうちいずれの座標系を使用するかを決定するステップと、
    前記第一の座標系を使用する場合、前記検出された前記撮像部の位置に基づいて、前記第一の座標系における前記撮像部の位置を表す座標を算出し、前記第二の座標系を使用する場合、前記検出された前記撮像部の位置に基づいて、前記第二の座標系における前記被写体像の位置を表す座標を算出するステップと
    を備え
    前記第二の座標系におけるチルト方向の座標軸は、第一の方向を0°とし、前記第一の方向に対して垂直方向までを0°〜−90°に設定したものであり、前記第一の方向から180°の方向である第二の方向についても0°とし、前記第二の方向に対して垂直方向までを0°〜−90°に設定したものであり、
    前記第二の座標系において、チルト方向の座標軸の二つの0°の方向が、それぞれパン方向及びチルト方向について調整されている、撮像方法。
JP2009213378A 2009-09-15 2009-09-15 撮像システム、撮像装置、情報処理装置及び撮像方法 Expired - Fee Related JP5471224B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009213378A JP5471224B2 (ja) 2009-09-15 2009-09-15 撮像システム、撮像装置、情報処理装置及び撮像方法
US12/870,430 US8692879B2 (en) 2009-09-15 2010-08-27 Image capturing system, image capturing device, information processing device, and image capturing method
TW099129493A TWI429280B (zh) 2009-09-15 2010-09-01 影像捕捉系統、影像捕捉裝置、資訊處理裝置、及影像捕捉方法
CN2010102761812A CN102025912B (zh) 2009-09-15 2010-09-07 图像拍摄***、设备和方法以及信息处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009213378A JP5471224B2 (ja) 2009-09-15 2009-09-15 撮像システム、撮像装置、情報処理装置及び撮像方法

Publications (2)

Publication Number Publication Date
JP2011066517A JP2011066517A (ja) 2011-03-31
JP5471224B2 true JP5471224B2 (ja) 2014-04-16

Family

ID=43730168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009213378A Expired - Fee Related JP5471224B2 (ja) 2009-09-15 2009-09-15 撮像システム、撮像装置、情報処理装置及び撮像方法

Country Status (4)

Country Link
US (1) US8692879B2 (ja)
JP (1) JP5471224B2 (ja)
CN (1) CN102025912B (ja)
TW (1) TWI429280B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012053102A1 (ja) * 2010-10-22 2012-04-26 パイオニア株式会社 端末装置、端末装置によって実行される画像処理方法及び画像処理プログラム
EP2656142A1 (en) * 2010-12-22 2013-10-30 Pick'ntell Ltd. Apparatus and method for communicating with a mirror camera
EP2645701A1 (en) * 2012-03-29 2013-10-02 Axis AB Method for calibrating a camera
JP2016063332A (ja) * 2014-09-17 2016-04-25 多摩川精機株式会社 遠隔監視装置及び方法
JP6504793B2 (ja) * 2014-11-14 2019-04-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10324363B2 (en) * 2017-02-23 2019-06-18 Eys3D Microelectronics, Co. Image device capable of compensating image variation

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU99110735A (ru) * 1996-11-27 2001-03-10 Принстон Видео Имидж Вставка изображения в видеопотоки с применением комбинации физических датчиков и распознавания образов
JP3621003B2 (ja) * 1999-08-31 2005-02-16 松下電器産業株式会社 監視カメラ装置及び監視カメラの表示方法
JP3722653B2 (ja) * 1999-08-31 2005-11-30 松下電器産業株式会社 監視カメラ装置及び監視カメラの表示方法
TW593978B (en) * 2002-02-25 2004-06-21 Mitsubishi Electric Corp Video picture processing method
JP4017926B2 (ja) * 2002-07-08 2007-12-05 松下電器産業株式会社 監視カメラ装置
JP3748544B2 (ja) * 2002-09-04 2006-02-22 株式会社日立国際電気 監視用テレビカメラ装置
US7567274B2 (en) * 2002-12-09 2009-07-28 Frank Edughom Ekpar Method and apparatus for creating interactive virtual tours
CA2526105C (en) * 2003-06-20 2010-08-10 Mitsubishi Denki Kabushiki Kaisha Image display method and image display apparatus
US7057637B2 (en) * 2004-04-21 2006-06-06 White Peter Mcduffie Reflected backdrop for communications systems
JP4458945B2 (ja) * 2004-06-11 2010-04-28 株式会社東芝 監視カメラシステム、ビデオ処理装置およびその文字表示方法
JP2006086714A (ja) * 2004-09-15 2006-03-30 Elmo Co Ltd 監視カメラ装置
JP4244973B2 (ja) 2005-08-03 2009-03-25 ソニー株式会社 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
JP2007110449A (ja) * 2005-10-13 2007-04-26 Canon Inc 撮像装置
JP4802012B2 (ja) * 2006-03-02 2011-10-26 ティーオーエー株式会社 カメラ制御装置およびカメラ制御方法
DE602007012335D1 (de) * 2007-02-19 2011-03-17 Axis Ab Verfahren zur Korrektur von Hardware-Fehlausrichtungen bei einer Kamera
US8098282B2 (en) * 2007-07-13 2012-01-17 Honeywell International Inc. Privacy zone algorithm for ptz dome cameras
US9215358B2 (en) * 2009-06-29 2015-12-15 Robert Bosch Gmbh Omni-directional intelligent autotour and situational aware dome surveillance camera system and method

Also Published As

Publication number Publication date
US20110063466A1 (en) 2011-03-17
JP2011066517A (ja) 2011-03-31
TW201138441A (en) 2011-11-01
US8692879B2 (en) 2014-04-08
CN102025912B (zh) 2013-07-17
CN102025912A (zh) 2011-04-20
TWI429280B (zh) 2014-03-01

Similar Documents

Publication Publication Date Title
TWI422218B (zh) Control devices, camera systems and programs for monitoring camera systems
JP4244973B2 (ja) 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
JP5967473B2 (ja) 撮像装置及び撮像システム
JP5471224B2 (ja) 撮像システム、撮像装置、情報処理装置及び撮像方法
JP6380787B2 (ja) 撮像装置、カメラ、表示装置、撮像方法、表示方法、及びプログラム
JP2008311804A (ja) 撮像装置および撮像方法
JP5991514B2 (ja) 撮像装置及び撮像システム
WO2010137211A1 (ja) 回転台付カメラ装置
KR20120065997A (ko) 전자 기기, 제어 방법, 프로그램 및 촬상 시스템
CN110351475B (zh) 摄像***、信息处理设备及其控制方法和存储介质
CN108259755B (zh) 摄像装置及控制方法
JP5631065B2 (ja) 映像配信システム、制御端末、ネットワークカメラ、制御方法およびプログラム
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
JP3841033B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2011155461A (ja) 撮像装置、ならびに、その制御方法および制御プログラム
JP7356293B2 (ja) 電子機器およびその制御方法
JP2015012550A (ja) 撮像装置および撮像システム
JP2013012930A (ja) 全方位撮像装置、及びその制御方法
JP2020202503A (ja) 撮像装置、コンピュータプログラムおよび記憶媒体
WO2021014598A1 (ja) 撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム
JP5763978B2 (ja) 制御装置、制御装置の制御方法
JP2007180663A (ja) 電子カメラ、及びその表示手段の角度制御方法
JP2013012848A (ja) カメラ装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

LAPS Cancellation because of no payment of annual fees