JP2022006912A - 制御装置、撮像装置、監視システム、及び制御方法 - Google Patents
制御装置、撮像装置、監視システム、及び制御方法 Download PDFInfo
- Publication number
- JP2022006912A JP2022006912A JP2020109491A JP2020109491A JP2022006912A JP 2022006912 A JP2022006912 A JP 2022006912A JP 2020109491 A JP2020109491 A JP 2020109491A JP 2020109491 A JP2020109491 A JP 2020109491A JP 2022006912 A JP2022006912 A JP 2022006912A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image pickup
- unit
- rotation
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012544 monitoring process Methods 0.000 title claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001290864 Schoenoplectus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
- H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
【課題】固定カメラのローテーションで発生する、ズームカメラとの領域指定の位置ずれを補正して表示させる制御装置、撮像装置、監視システム及び制御方法を提供する。
【解決手段】撮像システムにおいて、制御装置220は、ローテーション方向へ回転可能な第一の撮像部101と、パン方向への回転、チルト方向への回転及び画角を変更するためのズーム動作の少なくとも一つを実行可能な第二の撮像部102と、を備える撮像装置100を制御する制御装置であって、第一の撮像部のローテーション方向への回転に関する情報を取得する取得部と、第一の撮像部から取得した第一の画像上で指定された指定領域の位置情報及び回転に関する情報を用いて、第一の撮像部の第一撮像領域に含まれる第二の撮像部の撮像領域を設定する設定部と、第二の撮像部に第二撮像領域を撮像して第二の画像を取得させるための動作を実行させる駆動部とを有する。
【選択図】図1
【解決手段】撮像システムにおいて、制御装置220は、ローテーション方向へ回転可能な第一の撮像部101と、パン方向への回転、チルト方向への回転及び画角を変更するためのズーム動作の少なくとも一つを実行可能な第二の撮像部102と、を備える撮像装置100を制御する制御装置であって、第一の撮像部のローテーション方向への回転に関する情報を取得する取得部と、第一の撮像部から取得した第一の画像上で指定された指定領域の位置情報及び回転に関する情報を用いて、第一の撮像部の第一撮像領域に含まれる第二の撮像部の撮像領域を設定する設定部と、第二の撮像部に第二撮像領域を撮像して第二の画像を取得させるための動作を実行させる駆動部とを有する。
【選択図】図1
Description
本発明は、制御装置、撮像装置、監視システム、及び制御方法に関する。
近年、複数のカメラ(以下、多眼カメラ)を用いて単一のカメラを使用した場合よりも広い撮影範囲の画像を取得可能なネットワークカメラが知られている。多眼カメラには、複数の固定カメラと撮影倍率を変化可能なズームカメラや、魚眼レンズなどで視野領域360°を有するカメラ(以下、全方位カメラ)とズームカメラなどのように、様々な機構を組み合わせたものも含まれる。複数の固定カメラには、手動にて個別に水平(パン)、垂直(チルト)、光軸中心(ローテーション)の回転方向に画角を調整し所望の撮像領域を設定可能なカメラも含まれる。
また、多眼カメラの撮影方法の一例として、固定カメラから取得される画像をつなぎ合わせて、広範囲撮影(パノラマ撮影)を行い、指定した領域を、機構の異なるズームカメラで高解像度な撮影を行う方法が知られている。特許文献1には、ズームカメラの撮影位置と一致するように全方位カメラの撮影位置を設定し、全方位カメラで指示した位置をズームカメラで撮影を行うシステムを開示している。
しかしながら、特許文献1のシステムでは、固定カメラ部分が全方位カメラである場合、画像の領域ごとにズームカメラの位置を指定しておく必要がある。この場合、指定した位置から外れた領域や、複数の領域を、ズームカメラで表示できない。このような問題は、例えば、固定カメラ部分がローテーション機構を備えるカメラで、ズームカメラがローテーション機構を備えない場合でも発生する。固定カメラがパン、チルト駆動を行う場合、ズームカメラもパン、チルト駆動を行うことで、固定カメラの撮影範囲を網羅することが可能である。しかしながら、固定カメラがローテーション駆動を行う場合、固定カメラとズームカメラの機能の差から、ローテーションされた角度の差を埋めることができず、同じ画角を撮影することができない。
本発明は、固定カメラのローテーションで発生する、ズームカメラとの領域指定の位置ずれを補正して表示させる制御装置、撮像装置、監視システム、及び制御方法を提供することを目的とする。
本発明の一側面としての制御装置は、ローテーション方向へ回転可能な第一の撮像部と、パン方向への回転、チルト方向への回転、及び画角を変更するためのズーム動作の少なくとも一つを実行可能な第二の撮像部とを備える撮像装置を制御する制御装置であって、第一の撮像部のローテーション方向への回転に関する情報を取得する取得部と、第一の撮像部から取得した第一の画像上で指定された指定領域の位置情報、及び回転に関する情報を用いて、第一の撮像部の第一撮像領域に含まれる第二の撮像部の撮像領域を設定する設定部と、第二の撮像部に第二撮像領域を撮像して第二の画像を取得させるための動作を実行させる駆動部とを有することを特徴とする。
本発明によれば、固定カメラのローテーションで発生する、ズームカメラとの領域指定の位置ずれを補正して表示させる制御装置、撮像装置、監視システム、及び制御方法を提供することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
[第1の実施形態]
図1は、本実施形態の撮像システム(監視システム)の構成図である。撮像システムは、天井や電柱等に設置される撮像装置100、撮像装置100からの映像や各種情報の表示、及び撮像装置100を遠隔操作する端末120、並びに、それらを接続するネットワーク(IPネットワーク網)110で構成される。なお、図1では、撮像装置100と端末120をそれぞれ1つだけ示しているが、これらの数に特に制限はない。
[第1の実施形態]
図1は、本実施形態の撮像システム(監視システム)の構成図である。撮像システムは、天井や電柱等に設置される撮像装置100、撮像装置100からの映像や各種情報の表示、及び撮像装置100を遠隔操作する端末120、並びに、それらを接続するネットワーク(IPネットワーク網)110で構成される。なお、図1では、撮像装置100と端末120をそれぞれ1つだけ示しているが、これらの数に特に制限はない。
撮像装置100は、撮影方向を任意の角度に変更して固定が可能な複数のカメラで構成される第一の撮像部(多眼カメラ)101、及び狭角であるが撮影方向や光学ズーム倍率を変更可能で高精細な画像を得ることが可能な第二の撮像部102を有する。第一の撮像部101の複数のカメラは、個別に手動でパン、チルト、ローテーションの設定が行われる。複数のカメラはそれぞれ、設定された、パン方向への回転、チルト方向への回転、及びローテーション方向への回転を実行し、任意の角度で固定されて撮影を行う。なお、本形態では、複数のカメラは手動で設定されるが、各カメラの駆動部にモータを搭載することによって自動で設定されるようにしてもよい。第二の撮像部102は、端末120によって遠隔で操作され、パン、チルト、画角を変更可能なズームの少なくとも一つを実行可能である。第二の撮像部102は、撮影方向を360°回転可能とし、第一の撮像部101の撮像領域に含まれる領域を撮像することができる。なお、第一及び第二の撮像部101,102の撮像速度は本実施形態では15フレーム/秒に設定されているが、本発明はこれに限定されない。
また、撮像装置100は、取得した画像をネットワーク110上の端末120に送信する機能を有する。端末120は、ネットワーク110を介して撮像装置100に通信可能に接続され、撮像装置100から受信した映像を表示したり、撮像装置100に対して各種コマンドを発行したりする機能を有する。
図2は、撮像装置100のブロック図である。撮像装置100は、第一の撮像部101、第二の撮像部102、第一及び第二の撮像部101,102の制御と取得した画像を処理する制御部220、記憶部230、及びネットワーク110との間で通信を行うネットワーク(NW)通信部240を有する。なお、本実施形態では、制御部220は、撮像装置100内に設けられているが、撮像装置100とは異なる制御装置として構成されていてもよい。
第一の撮像部101は、広角な画像を取得するための広角レンズにより構成される撮像光学系200,204、撮像素子201,205、駆動部202,206、位置検出部203,207、及び画像処理部208を有する。第一の撮像部101では、撮像光学系、撮像素子、駆動部、位置検出部の構成が1つの撮像領域を撮像する。図2では、2つの構成が示されているが、構成の数に特に制限はない。なお、撮像光学系200,204は、本実施形態では広角レンズにより構成されているが、ズームレンズやフォーカスレンズ、絞り機構などにより構成されていてもよい。
撮像光学系200,204は、それぞれの光軸が異なるように配置されているため、別々の方向を個別に撮影することができる。また、撮像光学系を撮像領域の一部が重複するように配置し、構成の数を増やすことによって、360度の広範囲(又は全方位)を網羅することも可能である。
撮像素子201,205は、CCDやCMOS等の2次元のイメージセンサで構成され、撮像光学系200,204により形成された被写体像を光電変換し、得られた電気信号を画像処理部208に供給する。
駆動部202,206は、第一の撮像部101の撮像方向(光軸方向)を変更することができる。本実施形態では、個別に手動でパン、チルト、ローテーションの設定を行うことで、第一の撮像部101を所定の角度に固定することができる。ただし、手動での設定に限定するものではなく、駆動部にモータを搭載することによって自動で設定してもよい。
位置検出部203,207はそれぞれ、駆動部202,206で変更した機械的な位置の変化を検出して、位置情報を示す電気信号を出力するエンコーダで構成され、取得した電気信号を画像処理部208に供給する。
画像処理部208は、撮像素子201,205から受信した電気信号をデジタルデータに変換し、デモザイク処理をはじめ、画質を高める処理や、取得した光量を信号レベルとして高めるゲイン処理を行う。また、画像処理部208は、撮像素子201,205に対して蓄積した電荷をクリアするリセット信号を出力する処理を行う。また、画像処理部208は、シャッタースピード、絞り値、ゲイン処理の設定を変更することで撮像素子201,205に入射される光の量を調整する露光制御を行う。画像処理部208は、処理後の画像データを制御部220に供給する。
第二の撮像部102は、撮像光学系210、撮像素子211、駆動部212、位置検出部213、及び画像処理部214を有する。撮像光学系210は、ズームレンズやフォーカスレンズ、絞り機構などにより構成される。撮像素子211は、撮像光学系210により形成された被写体像を光電変換し、得られた電気信号を画像処理部214に供給する。画像処理部214は、画像処理部208と同様の処理を実行する機能を有する。駆動部112は、制御部220からの制御信号に従い、パン、チルト、及びズームレンズの動作を制御するための不図示の各種モータを駆動する。駆動部212は、本実施形態ではモータ駆動により自動で制御されるが、本発明はこれに限定されない。駆動部212による駆動が行われることで、第二の撮像部102の撮像方向(光軸方向)や光学ズーム倍率を変更することができる。
記憶部230は、例えばフラッシュメモリやハードディスク等の不揮発性メモリである。記憶部230には、第一の撮像部101の設定された角度に関する情報や端末120によって指定された領域の座標情報などが格納されている。格納されている情報は、制御部220による処理が実行される際に利用される。
NW通信部240は、ネットワーク110との通信を行うインターフェースである。なお、NW通信部240とネットワーク110との通信は、有線、無線を問わない。
制御部220は、駆動制御部(駆動部)221、画像表示生成部222、通信制御部223、角度取得部(取得部)224、枠生成部225、角度変換部(設定部)226、符号化部227、及びコマンド解釈部228を有する。制御部220は、例えば、中央処理装置CPU(Central Processing Unit)、CPUが実行するプログラムを格納するROM、及びCPUのワークエリアとして使用されるRAMで構成される。この場合、参照番号221~228で示される処理部は、プログラムを実行するCPUにより実現される。ただし、いくつかは、専用のハードウェアで実現されてもよい。
駆動制御部221は、第二の撮像部102の駆動部212へのパン及びチルト、並びに、ズーム倍率の制御のための駆動信号を生成する。駆動部212は、駆動制御部221により生成された駆動信号に基づき不図示のパン、チルト、ズームレンズを移動させる各種モータを駆動する。また、駆動制御部221は、第一及び第二の撮像部101,102によるフォーカシング、絞り等の制御も行う。
画像表示生成部222は、画像処理部208,214からのデータを端末120にどのような配置で表示させるのか決定する。特に、第一の撮像部101の表示方式については、複数の撮像素子から取得される複数の画像の配置(複数の画像をどの領域に表示させるか)や、複数の画像をつなぎ合わせる際の画像作成の順番などが指定される。また、画像表示生成部222は、取得した画像から領域の切り出しや所望の表示の大きさに拡大縮小を行うデジタルズーム処理なども行う。
通信制御部223は、符号化部227が生成した符号化データを、NW通信部240を介して端末120に送信する。このとき、通信制御部223は、第二の撮像部102から得た画像と、第一の撮像部101から得た広範囲画像とを適当なレイアウトとなるようにして送信する。また、通信制御部223は、NW通信部240を介して端末120からの各種要求コマンドを受信した場合、受信した要求コマンドをコマンド解釈部228に通知する。
角度取得部224は、第一の撮像部101の位置検出部203,207から出力される電気信号を用いて、どの撮像素子がどの方向に向けられているのかを判定し、判定結果を記憶部230に送信する。
枠生成部225は、第一及び第二の撮像部101,102から取得した画像上に、端末120から指定された指定領域を囲む領域枠を生成(描画)する。枠生成部225は、画像の水平方向をX座標、垂直方向をY座標とした場合に、指定された領域が画像のどの座標となるかを算出して領域枠を生成する。枠生成部225が第一の撮像部101から取得した画像上に領域枠を生成した場合、第二の撮像部102のパン、チルト、ズーム動作によって、指定された領域を表示させる。また、枠生成部225が第二の撮像部102から取得した画像上に領域枠を生成した場合、第二の撮像部102のズーム動作によって、指定された領域を表示させる。
角度変換部226は、角度取得部224により取得された情報、枠生成部225により生成された情報、並びに第一及び第二の撮像部101,102の関係性を用いて枠生成部225に枠の再作成を行わせる。
符号化部227は、画像処理部208,214から取得した画像データを符号化し、符号化データを生成する。符号化データは、通信制御部223に送信される。
コマンド解釈部228は、通信制御部223より通知された要求コマンドを解析し、要求コマンドに応じた処理を実行する。例えば、端末120により第一の撮像部101から取得した画像の所定の領域が指定された際、第二の撮像部102が指定された領域と同一の領域を撮像するように駆動制御部221に指示する。
以下、図3を参照して、端末120の内部構成について説明する。図3は、端末120のブロック図である。
端末120は、パーソナルコンピュータに代表される情報処理装置である。端末120は、装置全体の制御を司るCPU301、BIOSやブートプログラムが格納されているROM302、及びOS(オペレーティングシステム)やカメラアプリケーション等を記憶したり、ワークエリアとして機能したりするRAM303を有する。また、端末120は、OSやカメラアプリケーション等を記憶するHDD304、及びネットワーク110と通信するためのネットワークI/F305を有する。また、端末120は、ユーザからの指示入力のためのキーボードやマウス、タッチパネル等で構成される操作部306を有する。更に、端末120は、表示制御部307、及び表示装置308を有する。
端末120の電源がONになると、CPU301はROM302に格納されたブートプログラムに従ってOSをHDD304からRAM303にロードし実行する。これにより端末120が情報処理装置として機能する。また、この結果、操作部306、及び表示装置308がユーザインターフェースとして機能する。ユーザは操作部306を操作してカメラアプリケーションプログラムの実行を指示することで、カメラアプリケーションがHDD304からRAM303にロードされた後、実行される。これにより、端末120は、撮像装置100から取得した映像を表示する装置として機能する。
図4は、本実施形態の撮像装置100から取得された映像が端末120の表示装置308で表示される画面の一例を示す図である。表示装置308には、第一の撮像部101で取得された第一の画像401、及び第二の撮像部102から取得された第二の画像402が表示されている。第一の画像401の破線で囲われている領域403は、第二の撮像部102で拡大表示を行うべき指定領域を示している。すなわち、第二の画像402は、第二の撮像部102がパン、チルト、ズーム処理を行い、第一の画像401内の領域403を表示している。
ここで、第一の画像401は、説明のため、第一の撮像部101内に設けられた複数の撮像素子のうち1つの撮像素子から取得された画像として表示されているが、実際は、複数の撮像素子から取得された画像として表示される。実際に表示される画像は、画像表示生成部222により生成される。例えば、撮像素子が4つ設けられている場合、第一の画像401は、4枚の画像として表示されてもよいし、撮像素子ごとに取得された画像がつなぎ合わせられた1枚の広角画像として表示されてもよい。
ここで、第一の撮像部101が、パン、チルトを行っている場合、第二の撮像部102も同様にパン、チルトを行うことで、第一の撮像部101で撮影可能な撮影範囲を網羅することが可能である。すなわち、領域403の座標情報を取得することで、第二の撮像部102で領域403を撮影可能である。
しかし、第一の撮像部101がローテーション方向への回転(ローテーション動作)を行っている場合、第一の画像401の座標情報のみを用いて領域403を第二の撮像部102にて表示することができない。また、ローテーション動作で発生した回転によるずれを吸収することができない。
図5は、第一の撮像部101が角度45°でローテーション動作を行うことで取得された第一の画像401のローテーション動作前の画像401aを示す図である。ここで、ユーザが表示装置308を用いて領域403を指定した場合、実際には、図5の領域403aが指定されたこととなる。第二の撮像部102は、ローテーション動作を行うことができないため、領域403aを表現することができない。すなわち、第二の画像402は、車両が45°傾いた画像となってしまう。
以下、本実施形態の第一の撮像部101がローテーション方向への回転を行っている場合の第二の撮像部102の制御方法について説明する。図6は、本実施形態の第一の撮像部101がローテーション方向への回転を行っている場合の第二の撮像部102の制御方法を示すフローチャートである。
ステップS101では、制御部220(角度取得部224)は、位置検出部203,207から取得した電気信号を用いて第一の撮像部101がローテーション動作を行っているかどうかを判定する。第一の撮像部101がローテーション動作を行っていると判定された場合、ステップS105に進み、そうでない場合、ステップS102に進む。
ステップS102では、制御部220(枠生成部225)は、第一の撮像部101から取得された第一の画像401上に領域枠(図4の領域403を囲む枠に相当)を生成する。
ステップS103では、制御部220は、ステップS102で生成された領域枠の座標情報を取得する。取得された座標情報は、記憶部230に保存される。
ステップS104では、制御部220は、ステップS102で生成された領域枠に応じた領域を撮像するように第二の撮像部102を移動させる。本実施形態では、制御部220は、領域枠の座標情報と、事前に取得されている第一及び第二の撮像部101,102の関係性から第二の撮像部102にパン、チルト、ズームを行わせる。第二の撮像部102で取得された画像は、表示装置308上に第二の画像401として表示される。例えば、第一の撮像部101の初期時の画角、及び枠生成時の第二の撮像部102の設定に関する情報を記憶部230に保存し、初期時の画角から枠生成時の画角のずれを用いて枠生成時の第二の撮像部102の設定から移動させればよい。
ステップS105では、制御部220(角度取得部224)は、位置検出部203,207から取得した電気信号を用いて第一の撮像部101のローテーション動作の角度(ローテーションへの回転に関する情報)を取得する。
ステップS106では、制御部220(枠生成部225)は、第一の撮像部101から取得した第一の画像401上に領域枠(図4の領域403を囲む枠に相当)を生成する。なお、領域403は、第一の撮像部101のローテーション動作が反映された領域となっている。
ステップS107では、制御部220は、ステップS106で生成された領域枠の座標情報を取得する。
ステップS108では、制御部220(角度変換部226)は、ローテーション動作の角度、並びに第一及び第二の撮像部101,102の関係性を用いて、ステップS107で取得された座標情報を変換する。
ステップS109では、制御部220(角度変換部226)は、変換後の座標を用いて第一の撮像部101から取得された第一の画像401上に領域枠(以下、変換後領域枠)を生成する。
ステップS110では、制御部220は、ステップS109で生成された変換後領域枠から第二の撮像部102が移動可能な拡大領域枠を生成する。
ステップS111では、制御部220は、ステップS110で生成された拡大領域枠に応じた領域を撮影するように第二の撮像部102を移動させる。
ステップS112では、制御部220(画像表示生成部222)は、移動後の第二の撮像部102から取得した画像から、変換後領域枠に対応する領域を切り出すと共に、切り出した領域が第二の画像402のサイズとなるように拡大処理を行う。
ステップS113では、制御部220(画像表示生成部222)は、ステップS112で処理された画像をステップS105で取得されたローテーション動作の角度だけ回転させて(回転処理を実行して)表示装置308に表示する。
ここで、図7を参照して、領域を指定する方法について説明する。図7は、指定領域の設定の説明図である。図7では、横方向をX軸、縦方向をY軸、図の1マスを1画素として、第一の座標o(0,0)で示される、光軸中心である中心点704を中心に第一の撮像部101が45°だけローテーション動作を行っている状況を想定している。
図7(a)は、ローテーション動作前の画像401aと領域403a、及びローテーション動作後の第一の画像401と領域403を重ねて示している。領域403の頂点a~dの座標はそれぞれ、a(-3,-2),b(-3,-3),c(-2,-2),d(-2,-3)であり、図6のステップS107において取得される座標情報である。領域403aのそれぞれの頂点aa~ddの座標はそれぞれ、aa(-3.53,0.7),bb(-4.24,0),cc(-2.82,0),dd(-3.53,-0.7)であり、図6のステップS109において生成される変換後領域枠の座標である。
頂点aa,ddはそれぞれ、領域403の頂点a,dが中心点704を中心に一点鎖線702で示される同軸円上を45°だけ回転した点である。頂点ccは、領域403の頂点cが中心点704を中心に点線701で示される同軸円上を45°だけ回転した点である。頂点ccは、領域403の頂点cが中心点704を中心に点線701で示される同軸円上を45°だけ回転した点である。頂点bbは、領域403の頂点bから中心点704を中心に破線703で示される同軸円心上を45°だけ回転した点である。頂点aa~ddの各座標は、三平方の定理によって算出される。
図7(b)は、図7(a)の表示に加え、第二の撮像部102がパン、チルト、ズーム動作を行うで領域403aの各頂点が最大量だけ移動した点を結んだ領域403bを示している。領域403bの頂点aaa~dddの座標はそれぞれ、aaa(-4.24,0.7),bbb(-4.24,-0.7),ccc(-2.82,0.7)、ddd(-2.82,-0.7)となる。領域403bは領域403aを含んでおり、領域403bの外周は図6のステップS110で生成される拡大領域枠である。
以上説明したように、本実施形態では、第一の撮像部101がローテーションを行っても、図6のステップS111~S113の処理が行われることで第二の撮像部102で第一の画像401上の指定された領域に対応する領域を撮影することが可能となる。
なお、本実施形態では、ローテーション動作の角度を45°としているが、本発明はこれに限定されない。また、第一の撮像部101が複数設けられている場合でも個別に対応可能である。また、ローテーション動作の角度が90°,180°,270°である場合、撮像素子211が対応できるのであれば、読み出し方向を変えることで対応してもよい。
[第2の実施形態]
本実施形態の撮像装置は、第1の実施形態の撮像装置と同様の構成を有する。本実施形態では、第1の実施形態との差分について説明し、同等の箇所についての説明は省略する。
[第2の実施形態]
本実施形態の撮像装置は、第1の実施形態の撮像装置と同様の構成を有する。本実施形態では、第1の実施形態との差分について説明し、同等の箇所についての説明は省略する。
本実施形態では、第二の画像402を第一の画像401に重畳させる構成について説明する。本実施形態では、第二の画像402を取得する際に、切り出し処理やローテーション処理は行わずに、光学ズームのみの高解像度の画像の取得と、第一及び第二の撮像部101,102のローテーションでのずれを視覚的に分かりやすくすることを目的とする。
図8は、本実施形態の第一の撮像部101から取得される第一の画像401の一例を示す図である。本実施形態では、第一の撮像部101のローテーション動作の角度は45°である。図8では、第一の画像401上に、領域403を形成する際に端末120の操作部306のマウスを用いて領域を指定している様子が示されている。矢印801は、マウスがクリックされた点を始点、クリックを継続したままマウスを所定位置まで移動してクリックを離した点を終点としている。このようなドラッグアンドドロップ処理で矢印801の方向と大きさを決めることで、領域403を形成することができる。
本実施形態では、第一の画像401上に、第一の撮像部101のローテーションを考慮した第二の撮像部102の撮像領域である、長二点鎖線で囲まれた領域802(拡大領域枠)を表示させる。領域802は、領域403に対して45°ずれており、領域403が含まれる大きさを有する。なお、領域802は、ドラッグアンドドロップ処理が行われている間に矢印801をマウスで引く動作に合わせて表示されるようにしてもよいし、ドラッグアンドドロップ処理が完了してから表示されるようにしてもよい。
図9は、本実施形態の表示装置308に表示されるイメージの一例を示す図である。第一の画像402の隣の領域には、領域802を撮像することで取得される第二の画像901が表示されている。本実施形態の構成では、第一の画像401中の車は第二の画像901中の車に対して45°ずれて表示されている。また、第二の画像901は、デジタルズーム処理が施されていないため、高解像度の画像となっている。
以上説明したように、本実施形態の構成によれば、第二の撮像部102から取得される第二の画像402を第一の画像401に重畳させる。これにより、高解像度の画像の取得と、第一及び第二の撮像部101,102のローテーションでのずれを視覚的に表現することができる。
なお、第二の画像を、ローテーション動作を考慮して第一の画像に合わせて表示させるか、光学ズームのみの表示とさせるかをユーザが選択できるようにしてもよい。また、ローテーション動作の角度の換算方法として、既に同じ角度の算出値があった場合に他の撮像部へ共有するようにしてもよい。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
100 撮像装置
101 第一の撮像部
102 第二の撮像部
220 制御部(制御装置)
221 駆動制御部(駆動部)
224 角度取得部(取得部)
226 角度変換部(設定部)
101 第一の撮像部
102 第二の撮像部
220 制御部(制御装置)
221 駆動制御部(駆動部)
224 角度取得部(取得部)
226 角度変換部(設定部)
Claims (10)
- ローテーション方向へ回転可能な第一の撮像部と、パン方向への回転、チルト方向への回転、及び画角を変更するためのズーム動作の少なくとも一つを実行可能な第二の撮像部とを備える撮像装置を制御する制御装置であって、
前記第一の撮像部の前記ローテーション方向の回転に関する情報を取得する取得部と、
前記第一の撮像部から取得した第一の画像上で指定された指定領域の位置情報、及び前記回転に関する情報を用いて、前記第一の撮像部の第一撮像領域に含まれる前記第二の撮像部の第二撮像領域を設定する設定部と、
前記第二の撮像部に前記第二撮像領域を撮像して第二の画像を取得させるための動作を実行させる駆動部とを有することを特徴とする制御装置。 - 前記設定部は、前記第一の撮像部が前記ローテーション方向への回転を行う前に取得可能な画像上の前記指定領域に対応する領域の位置情報を用いて前記第二撮像領域を設定することを特徴とする請求項1に記載の制御装置。
- 前記第二の画像は、前記指定領域に応じて、前記第二撮像領域を撮像して取得した画像に対して切り出し処理、及び前記回転に関する情報に基づく回転処理を行うことで取得されることを特徴とする請求項1又は2に記載の制御装置。
- 前記第二の画像は、前記第一の画像に重畳されることを特徴とする請求項1又は2に記載の制御装置。
- 前記第二の画像は、前記指定領域が指定している間に前記第一の画像に重畳されることを特徴とする請求項4に記載の制御装置。
- 前記第二の画像は、前記指定領域が指定された後、前記第一の画像に重畳されることを特徴とする請求項4に記載の制御装置。
- ローテーション方向へ回転可能な第一の撮像部と、
パン方向への回転、チルト方向への回転、及び画角を変更するためのズーム動作の少なくとも一つを実行可能な第二の撮像部と、
請求項1乃至6の何れか一項に記載の制御装置とを有することを特徴とする撮像装置。 - 前記第二の撮像部は、ローテーション方向への回転を実行できないことを特徴とする請求項7に記載の撮像装置。
- 請求項7又は8に記載の撮像装置と、
前記撮像装置とネットワークを介して通信可能に接続される装置とを有することを特徴とする監視システム。 - ローテーション方向へ回転可能な第一の撮像部と、パン方向への回転、チルト方向への回転、及び画角を変更するためのズーム動作の少なくとも一つを実行可能な第二の撮像部とを備える撮像装置を制御する制御方法であって、
前記第一の撮像部の前記ローテーション方向の回転に関する情報を取得するステップと、
前記第一の撮像部から取得した第一の画像上で指定された指定領域の位置情報、及び前記回転に関する情報を用いて、前記第一の撮像部の第一撮像領域に含まれる前記第二の撮像部の第二撮像領域を設定するステップと、
前記第二の撮像部に前記第二撮像領域を撮像して第二の画像を取得させるための動作を実行させるステップとを有することを特徴とする制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020109491A JP2022006912A (ja) | 2020-06-25 | 2020-06-25 | 制御装置、撮像装置、監視システム、及び制御方法 |
US17/354,154 US11637958B2 (en) | 2020-06-25 | 2021-06-22 | Control apparatus, control method, and storage medium |
EP21181368.8A EP3930305A1 (en) | 2020-06-25 | 2021-06-24 | Control apparatus, control method, and program |
CN202110709266.3A CN113852754A (zh) | 2020-06-25 | 2021-06-25 | 控制设备、控制方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020109491A JP2022006912A (ja) | 2020-06-25 | 2020-06-25 | 制御装置、撮像装置、監視システム、及び制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022006912A true JP2022006912A (ja) | 2022-01-13 |
JP2022006912A5 JP2022006912A5 (ja) | 2023-06-14 |
Family
ID=76601035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020109491A Pending JP2022006912A (ja) | 2020-06-25 | 2020-06-25 | 制御装置、撮像装置、監視システム、及び制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11637958B2 (ja) |
EP (1) | EP3930305A1 (ja) |
JP (1) | JP2022006912A (ja) |
CN (1) | CN113852754A (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002065763A2 (en) | 2001-02-12 | 2002-08-22 | Carnegie Mellon University | System and method for manipulating the point of interest in a sequence of images |
JP4010444B2 (ja) | 2002-02-28 | 2007-11-21 | シャープ株式会社 | 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム |
JP4378636B2 (ja) | 2005-02-28 | 2009-12-09 | ソニー株式会社 | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
TWI307484B (en) * | 2006-02-21 | 2009-03-11 | Univ Nat Chiao Tung | Image capture apparatus calibration system and method there |
EP3787278A4 (en) * | 2018-04-26 | 2022-03-16 | Tenntwo Co., Ltd. | WIDE ANGLE IMAGE SUPPLY SYSTEM |
-
2020
- 2020-06-25 JP JP2020109491A patent/JP2022006912A/ja active Pending
-
2021
- 2021-06-22 US US17/354,154 patent/US11637958B2/en active Active
- 2021-06-24 EP EP21181368.8A patent/EP3930305A1/en active Pending
- 2021-06-25 CN CN202110709266.3A patent/CN113852754A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3930305A1 (en) | 2021-12-29 |
US20210409607A1 (en) | 2021-12-30 |
CN113852754A (zh) | 2021-12-28 |
US11637958B2 (en) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6587113B2 (ja) | 画像処理装置及び画像処理方法 | |
KR101776702B1 (ko) | 3차원 영상을 생성하는 감시 카메라 및 그 방법 | |
KR101685418B1 (ko) | 3차원 영상을 생성하는 감시 시스템 | |
JP2008311804A (ja) | 撮像装置および撮像方法 | |
JP6976719B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP5322287B2 (ja) | 回転台付カメラ装置 | |
CN110351475B (zh) | 摄像***、信息处理设备及其控制方法和存储介质 | |
JP2016096481A (ja) | 制御装置、撮像システム、制御方法、及び、プログラム | |
US8692879B2 (en) | Image capturing system, image capturing device, information processing device, and image capturing method | |
JP2005148265A (ja) | カメラ装置 | |
JP2022006912A (ja) | 制御装置、撮像装置、監視システム、及び制御方法 | |
JP2013034158A (ja) | 撮像装置 | |
CN112073630B (zh) | 摄像装置、摄像装置的控制方法及记录介质 | |
CN116648666A (zh) | 透镜装置、摄像装置、透镜装置的动作方法、摄像装置的动作方法及程序 | |
JP2022070745A (ja) | 撮像システム、撮像制御装置、撮像制御方法及びプログラム | |
JP2005175852A (ja) | 撮影装置及び撮影装置の制御方法 | |
JP2006115091A (ja) | 撮像装置 | |
JP6679779B1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR102494052B1 (ko) | 카메라를 지지하는 홀더 장치 및 상기 홀더 장치를 제어하기 위한 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 | |
JP2018146847A (ja) | 雲台撮像システム | |
US20210021759A1 (en) | Imaging apparatus and non-transitory storage medium | |
JP6702675B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP2022182840A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2019140599A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2023016580A (ja) | 撮像システム、撮像方法、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230606 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |