JP4533284B2 - 追尾撮像装置及びその追尾制御方法、並びに制御プログラム - Google Patents

追尾撮像装置及びその追尾制御方法、並びに制御プログラム Download PDF

Info

Publication number
JP4533284B2
JP4533284B2 JP2005250114A JP2005250114A JP4533284B2 JP 4533284 B2 JP4533284 B2 JP 4533284B2 JP 2005250114 A JP2005250114 A JP 2005250114A JP 2005250114 A JP2005250114 A JP 2005250114A JP 4533284 B2 JP4533284 B2 JP 4533284B2
Authority
JP
Japan
Prior art keywords
imaging
tracking
coarse
pan
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005250114A
Other languages
English (en)
Other versions
JP2007067716A (ja
Inventor
勉 尾坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005250114A priority Critical patent/JP4533284B2/ja
Priority to US11/468,144 priority patent/US7907175B2/en
Publication of JP2007067716A publication Critical patent/JP2007067716A/ja
Application granted granted Critical
Publication of JP4533284B2 publication Critical patent/JP4533284B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像方向を変化させて追尾目標を追尾する追尾撮像装置及びその追尾制御方法、並びに前記追尾制御方法を実行するための制御プログラムに関する。
従来より、撮像装置を用い、注目する被写体を検出して該被写体像の位置が例えば画面の中央にくるように撮像方向の追尾制御を行う追尾撮像装置が種々提案されている。
このような追尾撮像装置では、一般的に、追尾目標である被写体の位置と撮像方向とのずれ量が少なくなるように、パン(水平)駆動及びチルト(垂直)駆動の機構を制御している。この制御について図19を参照して説明する。
図19は、従来の追尾撮像装置における一般的なパン及びチルト制御処理を示すフローチャートである(以下、従来例1とする)。
まずシステムへの電源オンや使用者の指令等により処理が開始され(ステップS901)、続いて、パンやチルト機構を例えば旋回中心に移動させる等の初期化が行われる(ステップS902)。その後、注目する被写体の特徴から追尾目標を検出し(ステップS903)、検出した追尾目標の位置と撮像方向との偏差、即ちパンとチルト方向の偏差を算出する。さらにその偏差に応じた制御信号を算出し(ステップS904)、その制御信号によりパン及びチルト機構を駆動する(ステップS905)。そして、前記ステップS903からステップS905の処理を繰り返すことにより、被写体の追尾撮像が可能となる。
また、撮像レンズのズーム比(画角の変化)に応じてサーボ係数を変える追尾装置が開示されている(例えば特許文献1を参照、以下、従来例2とする)。画面中心に対する追尾目標の被写体のずれとモータ制御量との関係がズーム比に関係なく一定であると、ズーム倍率が高い場合に被写体の動きに対する反応が過敏になり制御が不安定なる。逆に、ズーム倍率が低い場合に動作が緩慢になり、被写体が画面の中央部に寄りずらく、被写体を画面外に逃がしやすい。この従来例2の追尾装置は、ズーム倍率に応じた適切なサーボ系のパラメータで追尾制御を行うようにしたものである。
また、動く被写体の撮像倍率を変えながら追尾して撮像する追尾撮像装置が提案されている(例えば特許文献2、以下、従来例3とする)。この追尾撮像装置では、チルト回転部及びパン回転部が粗動回転部と微動回転部からそれぞれ構成されている。広角撮像の際には粗動回転部を動作させ、拡大撮像の際には微動回転部を動作させる。微動回転部は、積層型圧電素子を用い、モータの回転による振動を発生させることなく撮像方向を微調整することができる。また、積層型圧電素子で直接駆動方式であるため、高速駆動も可能となる。
特許第3610604号公報 特開平11−122526号公報
しかしながら、上記従来例1と従来例2では、パン制御時には、レンズ、鏡筒(レンズ保持部材やオートフォーカス駆動部、ズーム駆動部等)、撮像センサ、及びチルト機構を含む撮像系(パン撮像系と呼ぶ)の全体を回転制御する。一方、チルト制御時には、レンズ、鏡筒、撮像センサ、及びパン機構を含む撮像系(チルト撮像系と呼ぶ)の全体を回転制御する。
このため、その回転速度は、パン撮像系或いはチルト撮像系とその駆動機構の慣性モーメントと、駆動アクチュエータとのバランスによって左右される。即ち、パン或いはチルト駆動を高速化するためには、パン撮像系或いはチルト撮像系とその駆動機構の慣性モーメントを小さくする必要がある。慣性モーメントを小さくには部材の重量を減らすために部品の肉厚を薄くするので装置の剛性が劣化する。装置の剛性が劣化すると装置の固有振動数が低周波数になり、結果として制御系の応答性が悪化する。
このように、パン或いはチルト駆動の高速化により高速な追尾制御を実現するためには、上記従来例1と従来例2では装置剛性を犠牲にすることが多く、設計が難しくなる、という問題があった。
また、上記従来例3では、微動と粗動により安定で高速な微調整が可能であるが、積層型圧電素子を用いる構造のために、かなり限定された狭い範囲の微調整となってしまうという問題がある。
本発明は上記従来の問題点に鑑み、装置の剛性を犠牲にすることなく高速且つ高精度なパン駆動及びチルト駆動が可能になる追尾撮像装置及びその追尾制御方法、並びに制御プログラムを提供することを目的とする。
上記目的を達成するため、本発明の追尾撮像装置は、撮像信号を取得する撮像手段と、前記撮像手段で取得した撮像信号から追尾目標を検出する追尾目標検出手段とを備え、前記追尾目標を追尾する追尾撮像装置において、前記追尾撮像装置をパン方向に旋回する粗動部と、前記撮像手段に光束を導く光学系の一部で構成されパン方向に回転する微動部と、前記追尾目標と前記追尾撮像装置の撮像方向とのずれ量が小さくなるように、前記粗動部及び前記微動部の駆動を制御するための制御指令値を演算する制御指令値演算手段と、前記微動部の回転の中心位置である微動回転中心位置、前記粗動部の回転の中心位置である粗動回転中心位置、及び前記光学系の主点位置または入射瞳位置に基づいて、前記追尾撮像装置の撮像方向を決定する撮像方向演算手段を設けたことを特徴とする。
また、本発明の追尾撮像装置の追尾制御方法は、撮像信号を取得する撮像手段を備える追尾撮像装置の追尾制御方法であって、前記撮像手段により撮像信号を取得する撮像工程と、前記撮像工程で取得した撮像信号から追尾目標を検出する追尾目標検出工程と、前記追尾撮像装置の撮像方向と追尾目標とのずれ量が小さくなるように、前記追尾撮像装置をパン方向に旋回する粗動部及び前記撮像手段に光束を導く光学系の一部で構成されパン方向に回転する微動部の駆動を制御するための制御指令値を演算する制御指令値工程と、前記微動部の回転の中心位置である微動回転中心位置、前記粗動部の回転の中心位置である粗動回転中心位置、及び前記光学系の主点位置または入射瞳位置に基づいて、前記追尾撮像装置の撮像方向を決定する撮像方向演算工程とを有することを特徴とする。
また、本発明の制御プログラムは、撮像信号を取得する撮像手段を備える追尾撮像装置の追尾制御方法を実行するための、コンピュータで読み取り可能な制御プログラムであって、前記撮像手段により撮像信号を取得する撮像ステップと、前記撮像ステップで取得した撮像信号から追尾目標を検出する追尾目標検出ステップと、前記追尾撮像装置の撮像方向と追尾目標とのずれ量が小さくなるように、前記追尾撮像装置をパン方向に旋回する粗動部及び前記撮像手段に光束を導く光学系の一部で構成されパン方向に回転する微動部の駆動を制御するための制御指令値を演算する制御指令値演算ステップと、前記微動部の回転の中心位置である微動回転中心位置、前記粗動部の回転の中心位置である粗動回転中心位置、及び前記光学系の主点位置または入射瞳位置に基づいて、前記追尾撮像装置の撮像方向を決定する撮像方向演算ステップとを有することを特徴とする。
本発明によれば、装置の剛性を犠牲にすることなくパン駆動及びチルト駆動の高速化が可能になり、装置の設計も容易になる。また、微動機構により、撮像方向の分解能や精度向上が容易になる。これにより、微動と粗動を備えた高速且つ高精度な追尾撮像装置を実現することが可能になる。
本発明の追尾撮像装置及びその追尾制御方法、並びに制御プログラムの実施の形態について、図面を参照しながら説明する。
[第1の実施の形態]
<追尾撮像装置の構成>
(A)追尾撮像装置の全体的な構成
図1は、本発明の第1の実施の形態に係る追尾撮像装置の全体的な構成を示すブロック図である。
この追尾撮像装置は、制御量算出部101、パン駆動部104、チルト駆動部107、撮像部110、及び追尾目標検出部111を備えている。
制御量算出部101は、撮像方向の制御を行うための演算部であり、主に撮像方向演算部102と制御指令値演算部103から構成されている。撮像方向演算部102は、本実施の形態の特徴を成す微動部106,109、粗動部105,108及び光学系の仕様と、微動回転角度と、粗動回転角度とから、主点位置または入射瞳位置や撮像方向を演算する。また、制御指令値演算部103は、追尾目標と撮像方向との差が小さくなるように制御量が演算される。本実施の形態の追尾制御は、画面の中心に追尾目標が撮像されるようにパン駆動とチルト駆動の制御がなされる。
パン駆動部104は、粗動部105と微動部106から成る。本実施の形態においては、微動部106は粗動部105よりも高速に動作する。チルト駆動部107は粗動部108と微動部109から成り、パン駆動部104と同様に微動部109は粗動部108よりも高速に動作する。
撮像部110は、撮像素子やレンズ等を備えた撮像モジュールを備え、該撮像モジュールを通して撮像した画像を追尾目標検出部111へ供給すると共に、撮像部110の状態信号を制御量算出部101へ送る。追尾目標検出部111は、撮像部110で撮像した画像の所定の特徴に基づいて追尾目標を探し出し、その位置を検出する。
(B)パン駆動部104とチルト駆動部107の機構
図2は、図1中のパン駆動部104とチルト駆動部107の機構を示す斜視図である。
図中の150は、パン駆動部104及びチルト駆動部107の微動機構(以下、パン・チルト微動機構と記す)であり、図1の微動部106,109に相当する。151はパン駆動部104の粗動機構(以下、パン粗動機構と記す)であり、図1の粗動部105に相当する。152はチルト駆動部107の粗動機構(以下、チルト粗動機構と記す)であり、図1の粗動部108に相当する。153はパン駆動部104の粗動回転軸(以下、パン粗動軸と記す)、154はチルト駆動部107の粗動回転軸である。
この図2に示したパン/チルト駆動部の機構によれば、パン駆動部104の粗動及び微動と、チルト駆動部107の微動及び粗動とを独立に回転制御することが可能である。そして、チルト粗動機構152上にパン粗動機構151とパン・チルト微動機構150が搭載され、パン粗動機構151上にパン・チルト微動機構150が搭載されている。また、パン粗動軸153とパン微動軸(後述の図3の165)は一致していない。
図3は、図2中のパン・チルト微動機構150の主要機構を示す斜視図である。
図中の121は回転ミラーであり、162はパン方向に回転駆動する微動アクチュエータである。163は回転ミラー121と微動アクチュエータ162を保持するアングル部材であり、164はアングル部材163をチルト方向に微動回転させる微動アクチュエータである。165はパン方向の微動回転中心である回転軸、166はチルト方向の微動回転中心である回転軸である。このように微動アクチュエータ162、164により任意の角度に回転ミラー121を回転させることが可能である。
図4(a),(b)は、図2中のチルト粗動機構152を示す機構図であり、同図(a)は、その正面図、同図(b)は側面図である。
図中の170は、パン・チルト微動機構150とパン粗動機構151を搭載したチルト可動フレームであり、内部にあるパン・チルト微動機構150とパン粗動機構151は省略してある。171はチルト粗動機構152の動力源であるモータであり、172〜175はモータ171の回転速度を調整又は動力伝達を行うための歯車である。なお、歯車の変わりにベルトなどを用いても良い。モータ171は直流モータやステッピングモータ、超音波モータ等、チルト角度の位置決め制御が可能であれば何れの方式でも良く、適当な減速比を選択する。また、歯車を設けずに直接駆動するダイレクトドライブ方式でも良い。パン粗動機構151も、パン粗動フレームをチルト粗動機構152と同様な方式で駆動することができ、ここでは説明を割愛する。
(C)微動と粗動の光学的及び幾何学的な関係
撮像方向を決める制御はパン(水平)とチルト(垂直)の2軸で行われるが、パンとチルトの制御は互いに直交しているだけで制御方法は同様であるので、パンのみ制御を説明し、チルトの制御の説明は割愛する。
図5(a),(b)は、第1の実施の形態に係るパン駆動部の光学的・幾何学的な関係を示す模式図であり、仮想レンズ(薄肉レンズ)で示してある。同図(a)は光学模式図であり、同図(b)は同図(a)の回転ミラー121を排除した光学系等価図である。
パン駆動部104の微動は回転ミラー121によって行われる。図5(a)において、122は回転ミラー121の回転中心、即ち微動回転中心である。123はCCDやCMOS等の撮像素子125に被写体を結像させるためのレンズであり、124はそのレンズ主点を示す。図5のレンズは仮想レンズであるため、後述するようにレンズ主点124を元に座標変換等の演算がなされる。
レンズ123は単レンズ構成であっても、複数のレンズやミラー等の光学要素で構成される光学系でも良いが、一般的には収差補正等から複数枚のレンズや開口絞りで構成される複数枚のレンズと開口絞りで構成される光学系の場合、物体側から像側へ結像される光線の全ては入射瞳を通過するため、後述する座標変換等の演算には入射瞳の主光線上での点である入射瞳位置を基準に演算を行う。よって、薄肉の仮想レンズとみなせる場合、或いは主点位置近傍に入射瞳位置がある場合は、主点位置を参照して座標変換を行う。また、主点位置の近傍に入射瞳位置が無い場合は、入射瞳位置を参照して座標変換を行う。本発明においては、説明の簡略化のために主点位置を参照した場合についてのみ説明し、入射瞳位置を参照する場合の説明は割愛する。126はレンズ主点と焦点を結ぶ主光線を示す。127はパン駆動部120の回転中心、即ち粗動回転中心である。なお、図5(a)は真正面の被写体を撮像している基準状態を示している。
回転ミラー121は光線方向を回転ミラー121の回転角度の2倍に変換する以外は結像作用に影響を及ぼすことはなく、回転ミラー121を除去して、図5(a)は図5(b)のように表すことができ、光学上の主点は図5(b)の130の位置となる。
次に、微動による主点移動について説明する。
図6(a),(b)は、微動時の主点移動を説明する説明図であり、同図(a)はその光学模式図、同図(b)は同図(a)の回転ミラー121を排除した光学系等価図である。
図6(a)に示すように、回転ミラー121をα/2(不図示)回転させると主光線126は2倍のα回転する。図5(b)同様に回転ミラー121を除去すれば、図6(b)に示すように光学上の主点131が求められる。このように回転ミラー121のような微動機構により、所定の撮像方向と主点位置になることが分かる。
この主点位置は、図形の回転や変形に用いる1次変換で求まる。微動回転中心122を原点としたローカル座標系UVを考え、図5(b)の主点位置130の座標を(u1,v1)、微動回転による座標変換後の図6(b)の主点位置131の座標を(u1’,v1’)、座標の回転角をθとすれば、以下の関係となる。
Figure 0004533284
また、上述したように主光線126の角度は図5(a)を基準にするとθ=αとなり、回転ミラー121の回転による主点移動と主光線126の方向が求まる。
次に、粗動による主点移動について説明する。
図7は、粗動時の座標変換を説明する説明図であり、微動によって主点移動と主光線方向が変換された図6(b)の状態を更に粗動で回転させた状態を示している。
粗動の回転角をβ、粗動回転中心127をグローバル座標XYの原点とする。粗動しないとき、ローカル座標系UVの原点を(x1,y1)、主点位置131の座標を(x2,y2)とおく。また、粗動後のローカル座標UVの原点を(x1’、y1’)、主点位置を(x2’、y2’)とおけば、以下の関係となる。
Figure 0004533284
粗動と微動による撮像方向γと主点位置の関係は、微動回転量α(回転ミラー121はα/2)、粗動回転量β(不図示)の場合、撮像方向γは単純に以下の式となる。
γ=α+β -------式3
また、主点位置は式1と式2より導き出される。
このように撮像方向γに対して無数の微動回転角度αと粗動回転角度βと主点位置が存在する。
(D)第1の実施の形態に係る制御量演算処理
以下、微動回転角度と粗動回転角度と光学系の主点位置から、撮像方向を演算制御する制御量演算処理について、図8を参照して説明する。
図8は、第1の実施の形態に係る制御量演算処理を示すフローチャートである。
まずステップS101では、図5(a)の基準状態(デフォルト)で、ローカル座標原点と光学上の主点位置130を読み込む。一方、ステップS102では、追尾目標検出部111から追尾目標位置(又は角度)を取得する。
そして、ステップS103では、前記ステップS101で読み込んだ基準情報と微動と粗動の回転角から、上述の式1と式2と式3により主点位置と主光線方向を求め、撮像方向を演算する。次のステップS104では、基準の主点位置と駆動制御中の主点位置との差、即ち主点移動量を演算し、この主点移動量が所定値以下で有るか否かを判定する。所定値以下であれば、主点位置のずれ量、即ち主点移動が小さいと判断し、主点移動を無視してステップS106へ進み、所定位置以上であればステップS105へ進む。
ステップS105は、主点移動量が大きい場合であって、主点移動を考慮して追尾目標とのずれ量を再計算する。ステップS106は、微動と粗動の駆動機構の特性を考慮し、旋回角度の制御を行う微動と粗動の回転制御のステップである。粗動は微動より低い周波数応答特性でずれ量がなくなるように制御され、微動は粗動より高い周波数応答特性で制御される。
ステップS101からステップS106を繰り返すことで所望の制御が行われる。但し、ステップS101を一度のみ行う制御フローにしても良い。
(E)第1の実施の形態の効果
第1の実施の形態によれば、パン及びチルト駆動部104,107の微動は回転ミラー121(図6(a)の121参照)によって行われ、回転ミラー121のような微動機構により、所定の撮像方向と主点位置に設定することができる。即ち、回転ミラー121の回転中心である微動回転中心(図6(a),(b)の122参照)の位置(微動回転中心位置)と、パン或いはチルト駆動部104,107の回転中心(図6(a),(b)の127参照)の位置(粗動回転中心位置)と、レンズ主点の位置(主点位置)とを参照して、主点移動位置(図6(b)の131参照)や撮像方向(図6(b)の126参照)が求まる。
このように第1の実施の形態におけるパン及びチルト駆動部104,107の微動機構は、従来の撮像系全体を回転駆動する構成とは違い、撮像系の一部(例えば、回転ミラー121)のみを回転駆動するように構成されている。そのため、慣性モーメントが小さくなり、装置の剛性を犠牲にすることなく高速化が可能になり、設計も容易となる。また、微動の分解能を向上させれば、撮像方向の精度も容易に向上できる。これにより、微動と粗動を備えた高速且つ高精度な追尾撮像装置を実現することが可能になる。
[第2実施の形態]
第2実施の形態では、ずれ量の微分演算部を設けた微動と粗動の制御と、制御適応外の例外処理について説明する。
(A)ずれ量の微分演算部を設けた制御量演算処理
図9は、本発明の第2の実施の形態に係る追尾処理を示すフローチャートであり、図8と共通の要素には同一の符号を付し、その説明を省略する。
ステップS101からステップS105までの処理は、前述した図8の処理と同様である。前記ステップS104の判定処理において、主点移動量が所定値以下で有る場合には、ステップS201へ進む。
ステップS201では、撮像方向と追尾目標とのずれ量を演算し、続いてステップS202において、上記ステップ201の演算結果を一階微分し、さらにステップS203では、微分演算の結果が所定値以下であるか否かを判定する。所定値以下であればステップS204へ進み、所定値以上であればステップS205へ進む。なお、この所定値は粗動で追尾可能な速度(例えば最大値)に設定される。
ステップS204では、粗動のみでパンを駆動制御するための粗動駆動演算を行う。このステップS204は、粗動のみで追尾可能と判断された場合に適用される。ステップS205では、粗動と微動を併用する粗動・微動駆動演算を行う。そして、ステップS206において、上記ステップS204或いはステップS205の結果から、微動と粗動の各々を駆動する。
このようにずれ量を微分することにより、ずれの変化が高速な場合は粗動と微動を併用し、ずれ量の変化が低速な場合は粗動のみを使用する構成にすることができる。
(B)例外処理を含めた制御量演算処理
図10は、制御適応外時の例外処理を含めた追尾処理のフローチャートであり、図9と共通の要素は同一の符号を付し、その説明を省略する。
前記ステップS102の処理で追尾目標位置(角度)を取得すると、ステップS211へ進む。ステップS211では、追尾目標が追尾可能な範囲(追尾可能範囲)であるか否かを判定する。ここに述べる追尾とは、追尾目標を画面中央部に撮像することである。もし、追尾可能範囲の外側近傍にあって撮像可能であるが、パン駆動して画面中央部に撮像することができないような追尾可能範囲以外、又は追尾目標が存在しないため追尾目標を検出することができない場合は、ステップS212へ進んで例外処理を行う。一方、追尾可能範囲内の場合は、前述したステップS103及びステップS104を経てステップS201へ進む。
ステップS212では、次のような例外処理を実行する。即ち、(1)追尾目標が検出できない場合は、撮像方向を初期値に戻す。又は、追尾可能範囲から外れて検出できない場合は、所定時間の間、検出が外れた状態を保持する。(2)粗動と微動とも可能な限り追尾目標に向け、その位置を保持する。
前述したステップS203において、一階微分値が所定値以上の場合はステップS214へ進む。ステップS214では、ステップS202の微分結果やパンの位置等の情報から、微動と粗動の併用による追尾が可能であるか否かを判断する。
ステップS214で追尾可能と判断すると前述したステップS205へ進み、追尾不可能と判断するとステップS215へ進んで例外処理を行う。追尾不可能な場合としては、追尾目標の移動速度が速くて追いつけない場合である。
ステップS215では、追尾不可能時の例外処理として次のような処理を行う。即ち、(1)最大速度で追尾を実行し追尾目標を見失うと、その状況を保持する。(2)最大速度で追尾を実行し追尾目標を見失っても同じ方向の追尾を継続する。(3)ズームを有するものはズームをワイド側にする。
(C)第2実施の形態の効果
第2の実施の形態によれば、ずれ量の一階微分、即ち偏差の推移速度によって、粗動と微動の割り振りの決定や、追尾が可能であるかの判断が可能となる。また、例外処理を行うことで制御性の向上が図れる。
[第3の実施の形態]
第1実施の形態では、粗動回転中心と微動回転中心とレンズ主点が異なる構成について述べた。第3実施の形態ではこれらの位置の一部或いは全てが一致する構成について述べる。
<パン・チルト機構部>
図11は、第3の実施の形態に係るパン・チルト機構部の全体を示す斜視図である。
図中の311は、パンの粗動回転中心であり、図3のパン微動回転中心165に一致する。また、312はチルトの粗動回転中心であり、図3のチルト微動回転中心166に一致するように構成される。
<光学的・幾何学的な関係>
まず、微動回転中心と粗動回転中心を一致させた場合のパン駆動部の光学的・幾何学的な関係について説明する。
図12(a),(b)は、第3の実施の形態に係るパン駆動部の光学的・幾何学的な関係を示す模式図であり、同図(a)は、微動回転中心と粗動回転中心を一致させた場合の光学模式図であり、同図(b)は、同図(a)の回転ミラー121を排除した光学系等価図である。
図12中の301と302は微動回転中心と粗動回転中心の一致点であり、図5(a)の微動回転中心122と粗動回転中心127が重なったものである。図12(b)において、このときの撮像回転角γ5は微動回転角度α5と粗動回転角度β5の和となる。
γ5=α5+β5
また、主点位置の初期状態(x5,y5y1)から、γ5回転した主点の位置(x5,y5y2)は以下の式となる。
Figure 0004533284
このように第1実施の形態で行っていたローカル座標系とグローバル座標系の演算を一つの座標系で行うことができ、演算を簡素にすることができる。
次に、粗動回転中心とレンズ主点を一致させた場合のパン駆動部の光学的・幾何学的な関係について説明する。
図13(a),(b)は、第3の実施の形態に係るパン駆動部の光学的・幾何学的な関係を示す模式図であり、同図(a)は、粗動回転中心とレンズ主点を一致させた場合の光学模式図であり、同図(b)は同図(a)の回転ミラー121を排除した光学系等価図である。
同図中の321が粗動回転中心とレンズ主点の一致点である。上記同様に一つの座標系で主点位置の移動演算ができ、演算を簡素化することができる。
次に、微動回転中心とレンズ主点を一致させた場合のパン駆動部の光学的・幾何学的な関係について説明する。
図14(a),(b)は、第4の実施の形態に係るパン駆動部の光学的・幾何学的な関係を示す模式図であり、同図(a)は、微動回転中心とレンズ主点を一致させた場合の光学模式図であり、同図(b)は同図(a)の回転ミラー121を排除した光学系等価図である。
単レンズ構成では、レンズ主点と微動回転中心の回転ミラー121は干渉が生じて構成不可能であるが、複数の光学要素を組み合わせる光学系においては構成可能である。図14中の332と333で光学系を構成し、この主点位置と微動回転中心の一致点が331となる。このような場合も、上記同様に一つの座標系で主点位置の移動演算ができ、演算を簡素化することができる。
次に、微動回転中心と粗動回転中心とレンズ主点を一致させた場合のパン駆動部の光学的・幾何学的な関係について説明する。
図15(a),(b)は、第5の実施の形態に係るパン駆動部の光学的・幾何学的な関係を示す模式図であり、同図(a)は、微動回転中心と粗動回転中心とレンズ主点を一致させた場合の光学模式図であり、同図(b)は、同図(a)の回転ミラー121を排除した光学系等価図である。
主点位置と微動と粗動の回転中心の一致点が、図中の341となる。この場合、上述のように主点移動はなく、粗動と微動の回転の和が撮像方向となり、演算をより一層簡素化できる。尚、第1の実施の形態で説明したように、主点位置ではなく入射瞳位置で演算する場合がある。
<第3の実施の形態の効果>
上記のように、粗動回転中心と微動回転中心と主点位置を適当に配置することで、撮像方向の演算が簡素化できる。
[第4の実施の形態]
上記各実施の形態の光学系は主点が移動しない光学系の構成について説明したが、第4の実施の形態では、画角や倍率を変える目的でズームレンズを用いる構成について説明する。
図16(a),(b)は、本発明の第4の実施の形態に係る追尾撮像装置のズーム動作による主点位置の変化を説明する説明図であり、同図(a)はワイド側を示し、同図(b)はテレ側を示している。
ズームレンズでは、光学系の一部を光軸方向へ移動させることにより、倍率と焦点調節を行っている。倍率を変えると主点位置は変わる。図16(a),(b)において、それぞれ401と403が主点位置、402と404が光学系である。ズームレンズはズーム比によって焦点距離が異なり、それによって主点位置も変わってくる。
図17は、第4の実施の形態に係る追尾処理を示すフローチャートであり、図8と共通の要素には同一の符号を付し、その説明を省略する。
本実施の形態の追尾処理は、ステップS401のみ第1の実施の形態と異なる。第1の実施の形態では、主点位置が固定されるため、処理の更新毎に主点位置を取得する必要はない。これに対して、第4の実施の形態では、ズームレンズを備えているため、ズーム比に応じて主点位置が異なるので、主点位置を取得する処理(ステップS401)が必要となり、この情報を後の処理に反映させることで第1の実施の形態と同様の処理が可能となる。
次に、ズームによる主点位置の移動をキャンセルする構成について説明する。
図18(a),(b)は、ズームによる主点位置の移動をキャンセルする構成の説明図である。
図18(a)の例では、図16(a)の光学系の401、402、125をずらして401’、402’、125’の位置へ移動している。図18(b)の例では、図16(b)の403、404、125を403’、404’、125’’へずらしている。
このように光学系全体をズーム比に応じてずらすことにより、ズームによる主点位置をキャンセルすることができる。光学系は全体ではなく、撮像素子とレンズの一部等、部分的に動かしても良い。
<第4の実施の形態の効果>
第4の実施の形態によれば、ズームレンズのように主点位置が移動する光学系においても、最適な追尾制御と撮像方向の演算の省力化が図れる。また、入射瞳位置のよって演算する装置の場合、ズームによって入射瞳位置が移動する。前述したように、主点位置と同様に演算することができる。
なお、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。又は、プログラムコードをネットワークを介してダウンロードしても良い。
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
この場合、上記プログラムは、該プログラムを記憶した記憶媒体から直接、又はインターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続された不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。
第1の実施の形態に係る追尾撮像装置の全体的な構成を示すブロック図である。 図1中のパン駆動部とチルト駆動部の機構を示す斜視図である。 図2中のパン・チルト微動機構の主要機構を示す斜視図である。 図2中のチルト粗動機構152を示す機構図である。 第1の実施の形態に係るパン駆動部の光学的・幾何学的な関係を示す模式図である。 微動時の主点移動を説明する説明図である。 粗動時の主点移動を説明する説明図である。 第1の実施の形態に係る制御量演算処理を示すフローチャートである。 第2の実施の形態に係る追尾処理を示すフローチャートである。 制御適応外時の例外処理を含めた追尾処理のフローチャートである。 第3の実施の形態に係るパン・チルト機構部の全体を示す斜視図である。 第3の実施の形態に係るパン駆動部の光学的・幾何学的な関係を示す模式図である。 第3の実施の形態に係るパン駆動部の光学的・幾何学的な関係を示す模式図である。 第4の実施の形態に係るパン駆動部の光学的・幾何学的な関係を示す模式図である。 第5の実施の形態に係るパン駆動部の光学的・幾何学的な関係を示す模式図である。 第4の実施の形態に係る追尾撮像装置のズーム動作による主点位置の変化を説明する説明図である。 第4の実施の形態に係る追尾処理を示すフローチャートである。 ズームによる主点位置の移動をキャンセルする構成の説明図である。 従来の追尾撮像装置における一般的なパン及びチルト制御処理を示すフローチャートである。
符号の説明
101 制御量算出部
102 撮像方向演算部
103 制御指令値演算部
104 パン駆動部
105,108 粗動部
106,109 微動部
107 チルト駆動部
110 撮像部
111 追尾目標検出部

Claims (4)

  1. 像信号を取得する撮像手段と、前記撮像手段で取得した撮像信号から追尾目標を検出する追尾目標検出手段とを備え、前記追尾目標を追尾する追尾撮像装置において、
    前記追尾撮像装置をパン方向に旋回する粗動部と、
    前記撮像手段に光束を導く光学系の一部で構成されパン方向に回転する微動部と、
    前記追尾目標と前記追尾撮像装置の撮像方向とのずれ量が小さくなるように、前記粗動部及び前記微動部の駆動を制御するための制御指令値を演算する制御指令値演算手段と、
    前記微動部の回転の中心位置である微動回転中心位置、前記粗動部の回転の中心位置である粗動回転中心位置、及び前記光学系の主点位置または入射瞳位置に基づいて、前記追尾撮像装置の撮像方向を決定する撮像方向演算手段を設けたことを特徴とする追尾撮像装置。
  2. 前記制御指令値演算手段は、前記追尾目標と前記撮像方向とのずれ量の一階微分演算を行う微分演算手段を含み
    前記微分演算手段の演算結果に基づいて前記微動部の微動と前記粗動部の粗動を制御する粗動微動制御手段を有することを特徴とする請求項1に記載の追尾撮像装置。
  3. 撮像信号を取得する撮像手段を備える追尾撮像装置の追尾制御方法であって、
    前記撮像手段により撮像信号を取得する撮像工程と、
    前記撮像工程で取得した撮像信号から追尾目標を検出する追尾目標検出工程と、
    前記追尾撮像装置の撮像方向と追尾目標とのずれ量が小さくなるように、前記追尾撮像装置をパン方向に旋回する粗動部及び前記撮像手段に光束を導く光学系の一部で構成されパン方向に回転する微動部の駆動を制御するための制御指令値を演算する制御指令値工程と、
    前記微動部の回転の中心位置である微動回転中心位置、前記粗動部の回転の中心位置である粗動回転中心位置、及び前記光学系の主点位置または入射瞳位置に基づいて、前記追尾撮像装置の撮像方向を決定する撮像方向演算工程とを有することを特徴とする追尾撮像装置の追尾制御方法。
  4. 撮像信号を取得する撮像手段を備える追尾撮像装置の追尾制御方法を実行するための、コンピュータで読み取り可能な制御プログラムであって、
    前記撮像手段により撮像信号を取得する撮像ステップと、
    前記撮像ステップで取得した撮像信号から追尾目標を検出する追尾目標検出ステップと、
    前記追尾撮像装置の撮像方向と追尾目標とのずれ量が小さくなるように、前記追尾撮像装置をパン方向に旋回する粗動部及び前記撮像手段に光束を導く光学系の一部で構成されパン方向に回転する微動部の駆動を制御するための制御指令値を演算する制御指令値演算ステップと、
    前記微動部の回転の中心位置である微動回転中心位置、前記粗動部の回転の中心位置である粗動回転中心位置、及び前記光学系の主点位置または入射瞳位置に基づいて、前記追尾撮像装置の撮像方向を決定する撮像方向演算ステップとを有することを特徴とする制御プログラム。
JP2005250114A 2005-08-30 2005-08-30 追尾撮像装置及びその追尾制御方法、並びに制御プログラム Expired - Fee Related JP4533284B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005250114A JP4533284B2 (ja) 2005-08-30 2005-08-30 追尾撮像装置及びその追尾制御方法、並びに制御プログラム
US11/468,144 US7907175B2 (en) 2005-08-30 2006-08-29 Tracking image pickup device having a rough rotation and a fine rotation part

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005250114A JP4533284B2 (ja) 2005-08-30 2005-08-30 追尾撮像装置及びその追尾制御方法、並びに制御プログラム

Publications (2)

Publication Number Publication Date
JP2007067716A JP2007067716A (ja) 2007-03-15
JP4533284B2 true JP4533284B2 (ja) 2010-09-01

Family

ID=37803516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005250114A Expired - Fee Related JP4533284B2 (ja) 2005-08-30 2005-08-30 追尾撮像装置及びその追尾制御方法、並びに制御プログラム

Country Status (2)

Country Link
US (1) US7907175B2 (ja)
JP (1) JP4533284B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157056A1 (en) * 2007-05-20 2010-06-24 Rafael Advanced Defense Systems Ltd. Tracking and imaging data fusion
GB2459701B (en) * 2008-05-01 2010-03-31 Pips Technology Ltd A video camera system
BR112014011632A2 (pt) 2011-11-14 2017-05-02 Canon Kk aparelho de captação, aparelho de controle e método de controle de imagem, e programa
KR101164656B1 (ko) * 2012-03-08 2012-07-11 주식회사 바로텍시너지 이동물체 궤적 추적 촬영장치
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及***和计算机
JP2013201793A (ja) * 2013-07-11 2013-10-03 Nikon Corp 撮像装置
JP6205070B2 (ja) * 2014-09-08 2017-09-27 富士フイルム株式会社 カメラの初期位置設定方法、カメラ及びカメラシステム
JP7451583B2 (ja) * 2022-02-25 2024-03-18 キヤノン株式会社 撮像装置、情報処理装置、制御方法、プログラム及び記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184265A (ja) * 1998-12-16 2000-06-30 Sony Corp 画像信号撮像装置および方法
JP2001128038A (ja) * 1999-10-27 2001-05-11 Canon Inc 撮像ユニットおよびこれを備えた装置、テレビ電話、携帯端末、コンピュータ、車載カメラ、監視カメラ、内視鏡
JP2003333390A (ja) * 2002-05-15 2003-11-21 Sony Corp モニタリングシステムおよび方法、並びに撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68928217T2 (de) * 1988-09-09 1998-01-29 Canon Kk Automatische Bildstabilisierungsvorrichtung
WO1994029670A1 (fr) * 1993-06-10 1994-12-22 Kabushiki Kaisha Oh - Yoh Keisoku Kenkyusho Appareil pour mesurer la position d'un objet en mouvement
US6233009B1 (en) * 1993-09-08 2001-05-15 Canon Kabushiki Kaisha Image-shake correcting device for detecting vibration frequency and for changing vibration characteristics
JPH07143378A (ja) * 1993-11-17 1995-06-02 Canon Inc 撮像装置
JPH07143471A (ja) * 1993-11-18 1995-06-02 Canon Inc 撮像装置及び電子通信会議システム
JP3610604B2 (ja) 1994-10-14 2005-01-19 ソニー株式会社 ビデオカメラの被写体追尾装置及び追尾方法
US6343188B1 (en) * 1995-03-02 2002-01-29 Canon Kabushiki Kaisha Vibration correction apparatus and optical device
US6388705B1 (en) * 1995-08-04 2002-05-14 Canon Kabushiki Kaisha Image sensing apparatus featured with vibration prevention function
EP0878965A3 (en) * 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
JPH11122526A (ja) * 1997-10-14 1999-04-30 Oki Electric Ind Co Ltd 追尾撮影装置
JP3466895B2 (ja) * 1997-12-12 2003-11-17 キヤノン株式会社 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット
KR100426174B1 (ko) * 2001-10-29 2004-04-06 삼성전자주식회사 영상압축 알고리즘을 이용한 카메라 제어방법
GB2404247B (en) * 2003-07-22 2005-07-20 Hitachi Int Electric Inc Object tracing method and object tracking apparatus
JP4478422B2 (ja) * 2003-09-18 2010-06-09 キヤノン株式会社 像振れ補正装置、交換レンズおよび撮影装置
JP4634752B2 (ja) * 2004-07-09 2011-02-16 Hoya株式会社 像ぶれ補正機能を備えたカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184265A (ja) * 1998-12-16 2000-06-30 Sony Corp 画像信号撮像装置および方法
JP2001128038A (ja) * 1999-10-27 2001-05-11 Canon Inc 撮像ユニットおよびこれを備えた装置、テレビ電話、携帯端末、コンピュータ、車載カメラ、監視カメラ、内視鏡
JP2003333390A (ja) * 2002-05-15 2003-11-21 Sony Corp モニタリングシステムおよび方法、並びに撮像装置

Also Published As

Publication number Publication date
US20070046784A1 (en) 2007-03-01
US7907175B2 (en) 2011-03-15
JP2007067716A (ja) 2007-03-15

Similar Documents

Publication Publication Date Title
JP4533284B2 (ja) 追尾撮像装置及びその追尾制御方法、並びに制御プログラム
CN1611975B (zh) 成像设备
JP5391074B2 (ja) カメラ、カメラシステムおよびカメラ本体
CN102111549B (zh) 图像处理装置及图像处理方法
CN106164730B (zh) 焦点调节装置、照相机***以及摄像装置的焦点调节方法
US8233786B2 (en) Image shake correction apparatus and image pickup apparatus
JP2005326807A (ja) 鏡胴内蔵型カメラ
EP2974271B1 (en) Anti-shake correction system for curved optical sensor
US20110032615A1 (en) Lens barrel, method of adjusting lens barrel, method of manufacturing lens barrel and imaging device
TWI630423B (zh) 用以補償手晃之裝置及方法
JP2005321797A (ja) 画像安定化システムおよび方法
JP2008035308A (ja) 電子カメラ及びレンズユニット
US20090067051A1 (en) System and method for correcting light pathway by driving curved prism composed of refraction surface
JP6789734B2 (ja) 像ブレ補正装置、レンズ装置、および、撮像装置
JP4981343B2 (ja) 雲台システム
JP2008197323A (ja) 光学機器
JP4314176B2 (ja) 撮像装置
JP7449715B2 (ja) フレーミング領域学習装置及びフレーミング領域推定装置、並びに、それらのプログラム
JP2019161539A (ja) 撮像装置およびその制御方法
JP7404059B2 (ja) 制御装置、レンズ装置、撮像装置、および撮像システム
JP2010026172A (ja) レンズ鏡筒、レンズ鏡筒の調整方法、光学装置、および光学装置の調整方法
JP2006343652A (ja) 手ブレ補正における手ブレ方向の推定方法と手ブレ補正装置
US9560340B2 (en) Three-dimensional image pickup lens system and image pickup system including the same
JP2014123815A (ja) 画像処理装置、画像処理方法及び記録媒体
KR102598070B1 (ko) 스캐닝 폴디드 카메라의 광학 이미지 안정화

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100611

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees