JP6317573B2

JP6317573B2 - 追尾装置

Info

Publication number: JP6317573B2
Application number: JP2013244888A
Authority: JP
Inventors: 健司影井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2018-04-25
Anticipated expiration: 2033-11-27
Also published as: JP2015104050A

Description

本発明は、追尾装置に関するものである。

従来、ズーム・チルト・パンを動作させることで、特定の被写体を自動で追尾する自動追尾装置が知られている。自動追尾装置は、まず追尾すべき被写体を特定することで自動追尾を開始し、ズーム・チルト・パンを動作させることで、被写体が画面内のある領域にとどまるように制御し続けるものである。自動追尾装置は、屋外でハウジング内に設置され、被写体を該ハウジングのガラス等の透明部材越しで撮影するように構成される場合が有り、そのような構成においてはガラスの表面を払拭するワイパ装置を備えることによって撮影状態を維持している。ここで、自動追尾中にワイパを動作させると、被写体がワイパブレードによって隠されてしまうことによって、一時的に画面に被写体が存在しない状態となり、追尾停止状態となる。このため、被写体が一定の速度で動作していたとしても、一度停止するような違和感のある追尾動作になることに加え、再度被写体の決定処理を行うことによる処理の増大など、追尾性能の低下を招いてしまう。

このように、ワイパ装置を動作させると、ワイパブレードが撮像装置の前面を通過することで、動作前と取得される映像が異なることから、ワイパ動作中は動作前と異なる制御を行うシステムが知られている。例えば、特許文献１では、雨滴センサが降雨を自動で検知していれば自動的にワイパを駆動させるシステムにおいて、ワイパ動作によってワイパブレードを雨滴と誤って検知しないように、ワイパ動作中は映像出力を一時停止する例が開示されている。

特許４４５６４４４号

しかしながら、特許文献１に開示された従来技術では、ワイパ動作中は映像がフリーズしてしまう。このため、自動追尾装置にこの方法を適用すると、映像が更新されないことに加え、ワイパの動作中は追尾動作を行うことができなくなってしまう。

そこで、本発明の目的は、自動追尾中にワイパを動作させた場合でも、追尾性能の低下を抑え、より違和感のない追尾動作を実現することを可能にした自動追尾装置を提供することである。

上記目的を達成するために、本発明の追尾装置は、撮影装置と、前記撮影装置の撮影方向を変更する雲台装置と、前記撮影装置の光学面を払拭するワイパと、前記撮影装置からの映像信号による画像に対して被写体の認識を行う認識手段と、前記撮影装置および前記雲台装置の駆動ならびに前記認識手段を制御する制御手段と、を有し、前記撮影装置は、ズームレンズを有し、前記制御手段は、前記撮影装置のズーム位置が閾値より広角側の場合、前記ワイパの非動作中には、前記被写体を追尾するための前記駆動の速度を、前記認識による前記被写体の前記画像内での位置に基づく速度とし、前記ワイパの動作中には、前記速度を更新せず、前記ズーム位置が前記閾値より広角側でない場合、前記ワイパの非動作中には、前記認識のための第１閾値を設定し、前記速度を、当該認識による前記被写体の前記画像内での位置に基づく速度とし、前記ワイパの動作中には、前記第１閾値より低い、前記認識のための第２閾値を設定し、前記速度を、当該認識による前記被写体の前記画像内での位置に基づく速度とする。

本発明によれば、自動追尾中にワイパを動作させた場合でも、追尾性能の低下を抑え、より違和感のない追尾動作を実現することを可能にした自動追尾装置を提供することができる。

実施例１の概略図である。実施例１のブロック図である。実施例１の基準画像の例である。実施例１の取得映像の例である。実施例１の追尾処理装置ＣＰＵの処理のフローチャートである。実施例１の追尾処理１のフローチャートである。実施例１のワイパ動作中の取得映像の例である。実施例１の更新禁止領域の例である。実施例２の追尾処理２のフローチャートである。実施例２のワイパ動作中の取得映像の例である。実施例３の追尾処理３のフローチャートである。実施例４の追尾処理４のフローチャートである。実施例４の更新禁止領域の例である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は本発明の実施形態に係る追尾システムの概略図、図２はそのブロック図である。

以下、図１および図２を参照して、本発明の第１の実施例による構成について説明する。

本実施例の追尾システムは、撮影映像内の被写体を自動追尾するための自動追尾装置である。本実施例の追尾システムは、操作器１、雲台１０、カメラ２０、レンズ３０、追尾処理装置４０およびフロントガラス（光学面）５１とフロントガラスを清掃する（払拭する）ためのワイパブレード５２とワイパブレードを回転させるためのワイパモータ５３とから構成される。

雲台１０は雲台ＣＰＵ１１、追尾処理装置間通信部１２、パン制御部１３ａ、チルト制御部１３ｂ、雲台駆動手段であるパンモータ１４ａ及びチルトモータ１４ｂ、レンズ制御部１５、カメラ制御部１６、ワイパ制御部１７から構成される。

雲台は、まず追尾処理装置間通信部で追尾処理装置からの操作信号を受信する。受信した操作信号を雲台ＣＰＵが解釈し、操作信号に適した動作を行う。操作信号がパン・チルトの駆動命令であった場合には、パン・チルト制御部を制御することによって、パン・チルトモータを駆動させ、撮影する方向を変更する。ズーム・フォーカスの駆動命令であった場合には、レンズ制御部を制御することによって、レンズを駆動させる。各種カメラの制御命令であった場合には、カメラ制御部を制御し、カメラを制御する。ワイパの駆動命令であった場合には、ワイパ制御部を制御することで、ワイパモータを駆動させ、ワイパブレードを回転させる。

追尾処理装置４０は、画像処理部４１、画像処理メモリ４２、画像処理プロセッサ４３、テンプレートメモリ４４、追尾処理装置ＣＰＵ４５、操作器間通信部４６、雲台間通信部４７から構成される。

追尾処理装置４０は、まずカメラ２０から受信した映像信号を画像処理部４１が１フレームごとの画像データに変換し画像処理メモリ４２に保存する。画像処理プロセッサ４３（認識手段）は、テンプレートメモリ４４に保存されている画像を基準画像とし、画像処理メモリ４２に保存されている画像に対してパターンマッチングを行うことで、追尾すべき被写体の有無を判定する。画像処理メモリ４２の中に基準画像との整合の度合いがあらかじめ設定されている被写体認識の閾値THを上回る領域がある場合には、被写体が存在するとし、その重心座標(X_obj, Y_obj)を計算し、これらの抽出した被写体情報を追尾処理装置ＣＰＵ４５に送る。一方、閾値THを超えるような領域が存在しない場合には、被写体が存在しないものとし、その結果を追尾処理装置ＣＰＵ４５に送る。

例えば、テンプレートメモリ４４に図３のような画像データが保存されているものとする。その際に、図４（ａ）のような映像が取得された際には、被写体が存在するという情報に加え、被写体の重心座標（X_obj, Y_obj）を追尾処理装置ＣＰＵ４５に送信する。一方、図４（ｂ）のような映像が取得された際には、基準画像と一致する領域が無いため、被写体が存在しないという情報を追尾処理装置ＣＰＵ４５に送信する。

以下に、追尾処理装置ＣＰＵ４５の処理の流れについて、図５のフローチャートをもとに説明する。

まず、操作器間通信部４６から操作器１からの操作命令があるかを判定し（Ｓ１１）、操作命令がある場合には、雲台１０へ操作信号を送信する（Ｓ１２）。次に、現在、追尾中かどうかを判定し（Ｓ１３）、追尾中でない場合には、追尾を開始するかの判定を行う（Ｓ１４）。操作器１から追尾開始命令を受信し、かつ追尾被写体を認識した際のように、追尾開始条件を満たした場合には、追尾中に移行する（Ｓ１５）。その後、後述の追尾処理を行う（Ｓ１６）。最後に追尾終了の判定を行い（Ｓ１７）、操作器１から追尾終了命令を受信する、または追尾すべき被写体が画面外に移動してしまった場合のように、追尾終了条件を満たした場合には、追尾停止中へ移行する（Ｓ１８）。以上のＳ１１〜Ｓ１８の処理を繰り返すことで、被写体の追尾動作を行う。

次に、追尾処理Ｓ１６の詳細である追尾処理１について、図６のフローチャートをもとに説明する。追尾処理１は、図７に示すような、ズーム位置を広角にして撮影している場合のように、ワイパを動作させるとワイパブレード５２によって被写体が一時的に画面上に存在しなくなるような状況を想定している。

追尾処理装置ＣＰＵ４５は追尾処理のはじめに、操作器１からのワイパ駆動命令を雲台１０へ送信した時間からの経過時間によって、ワイパが動作中であるか非動作中であるかを判定する（Ｓ２１）。ワイパが動作中で無かった場合には、前述の画像処理プロセッサ４３から被写体情報を受信し、画面内に被写体が存在するか、存在する場合にはその位置情報を受信する（Ｓ２２）。受信された被写体の情報から、画面内に被写体が存在するかの判定を行い（Ｓ２３）、画面内に被写体が存在する場合には、予め設定されている更新禁止領域内かを判定する（Ｓ２４）。被写体の位置が更新禁止領域外の場合は、雲台をパン・チルト動作させる駆動速度ｖの再計算を行い（Ｓ２５）、更新禁止領域内の場合は駆動速度の再計算を行わないようにする。例えば、図８(a)のように、対角の座標が（Xmin, Ymin）及び（Xmax, Ymax）で表される更新禁止領域Ｒに対して被写***置（X_obj, Y_obj）が領域内にある場合には、駆動速度ｖを再計算しない。一方、図８(b)のように、被写***置が更新禁止領域外の場合には、駆動速度ｖを再計算する。被写体が更新禁止領域内に入るよう、被写***置X_objと更新禁止領域の中心(Xmax-Xmin)/2との差が大きいほど、現在の駆動速度ｖとの相対速度の差が大きくなるように駆動速度ｖの値を更新する。また、画面内に被写体が存在しない場合には、雲台１０を停止させるようにv = 0とし、追尾終了条件フラグをＯＮとする（Ｓ２６）。一方、ワイパが動作中であった場合には、上記の駆動速度ｖの再計算を行わず、前回の駆動速度ｖの操作信号を雲台１０へ送信する。このように、ワイパが動作していない場合は、通常の追尾動作を行い、ワイパが動作している場合には、直前の駆動速度のまま一定速で雲台を動作させる。このように、ワイパで被写体認識ができない場合が想定されても、被写体が直前の運動を維持していることを前提として、被写体を撮影画面内に捕捉し続けることを優先する雲台装置、レンズ装置の制御をしている。これにより、ワイパ動作中に追尾制御を停止させるような場合に比べ、被写体が撮影画面内に捕捉できなくなってしまうリスクを低減させている。

上記のように処理を行うことで、ワイパブレード５２に被写体が隠れることにより一時的に被写体が存在しなくなる場合でも、雲台１０が一度停止してしまうような違和感のある動作を防止し、再度、追尾開始処理を行うことなく追尾動作を継続させることができる。

本実施例の派生するシステムとして、上記では被写体の位置情報からパン・チルトを動作させる場合について説明しているが、被写体の撮影画像内での大きさに基づいて求められた速度でズームレンズを駆動し、被写体の大きさを撮影画像内で一定に保つような追尾動作を行ってもよい。また、雲台１０の構成において、追尾処理装置間通信部１２、パン制御部１３ａ、チルト制御部１３ｂ、レンズ制御部１５、カメラ制御部１６、ワイパ制御部１７と雲台ＣＰＵ１１を別のものとしているが、いずれかもしくは全てをひとつのＣＰＵで処理してもよい。同様に、追尾処理装置４０の構成において、画像処理プロセッサ４３、操作器間通信部４６と追尾処理装置ＣＰＵ４５を別のものとしているが、ひとつのＣＰＵで処理してもよいし、テンプレートメモリ４４については、ＣＰＵの内蔵のメモリを使用してもよい。さらに、雲台内部に追尾処理装置の機能を組み込んでもよい。また、実施例では追尾被写体の認識方法にパターンマッチングを用いた例としたが、色相を用いる方法でもよいし、動体検知によるものとしてもよい。さらに、ワイパが動作中かどうかの判定については、ワイパモータ５３を駆動中の場合でもよいし、ワイパ動作開始からの時間から推測される、画面内（撮影画角内）をワイパブレードが遮る場合のみとしてもよい。もしくは、エンコーダやポテンショメータなどの位置検出手段を用いることで、ワイパブレード５２の位置を検出し、画面内（撮影画角内）を遮る位置にある場合のみとしてもよい。

以下、本発明の第２の実施例について説明する。

構成は図１、２に示した実施例１と同様である。追尾処理装置ＣＰＵの処理の流れは、追尾処理（Ｓ１６）の部分が異なるため、実施例２の追尾処理の詳細である追尾処理２について、図９のフローチャートにもとづいて説明する。追尾処理２は、図１０に示すような、ズーム位置を望遠にして撮影している場合のように、ワイパを動作させるとワイパブレード５２によって画面内が暗く、解像度が落ちることで、被写体の認識が通常時よりも困難になるような状況を想定している。

実施例１と同様に、追尾処理装置ＣＰＵ４５は、ワイパが動作中であるかを判定する（Ｓ２１）。ワイパが動作していない場合には、被写体認識の閾値THを通常の値TH_Normalとする（Ｓ３２）。一方、ワイパが動作している場合には、THを通常のTH_Normalよりも低いTH_Wiperとする（Ｓ３１）。すなわち、ワイパの動作中の被写体認識の閾値TH_Wiperをワイパの非動作中の閾値TH_Normalよりも低く設定し、ワイパの動作中はワイパの非動作中に対してより容易に被写体として認識することを可能とする設定とする。こうして決定したTHを画像処理プロセッサ４３に設定し（Ｓ３３）、被写体の認識処理を行わせた後、実施例１と同様の被写体情報を受信する（Ｓ２２）。以下、Ｓ２３〜Ｓ２７は実施例１と同様である。

上記のような処理を行うことで、ワイパブレード５２が前面を通過することによって、映像の解像度が低下する場合でも、雲台１０が一度停止してしまうような違和感のある動作を防止し、再度、追尾開始処理を行うことなく追尾動作を継続させることができる。

また、このように、ワイパで被写体認識ができない場合が想定されても、被写体が直前の運動を維持しているであろうことを前提として、被写体を撮影画面内に捕捉し続けることを優先する雲台装置、レンズ装置の制御をしている。これにより、ワイパ動作中に追尾制御を停止させるような場合に比べ、被写体が撮影画面内に捕捉できなくなってしまうリスクを低減させている。

以下、本発明の第３の実施例について説明する。

構成は図１、２に示した実施例１と同様である。追尾処理装置ＣＰＵ４５の処理の流れは、追尾処理（Ｓ１６）の部分が異なるため、実施例３の追尾処理の詳細である追尾処理３について、図１１のフローチャートにもとづいて説明する。

追尾処理装置のＣＰＵは、まず、雲台１０から現在のズーム位置Z_currentを取得する（Ｓ４１）。次に、Z_currentと予め設定されている所定の閾値Zthを比較し（Ｓ４２）、現在のズーム位置Z_currentが閾値Zthよりも広角側（Z_current＜Zth）の場合には、実施例１に記載の追尾処理１を行う（Ｓ４３）。すなわち、ワイパ動作中は雲台の駆動速度を更新（変更）せず、ワイパの非動作中のみ被写体が更新禁止領域内にない場合に雲台の駆動速度を再計算し更新する処理を実施する。現在のズーム位置Z_currentが閾値Zthよりも望遠側（Z_current≧Zth）の場合には、実施例２に記載の追尾処理２を行う（Ｓ４４）。すなわち、すなわち、ワイパの動作中の被写体認識の閾値TH_Wiperをワイパの非動作中の閾値TH_Normalよりも低く設定し、ワイパの動作中はワイパの非動作中に対してより容易に被写体として認識することを可能とする設定とする。

ズーム位置が広角側である場合は、図７に示すように被写体がワイパブレードで隠されてしまい、撮影画像から被写体を認識することができなくなる傾向が強い。また、ズーム位置が望遠側である場合は、ワイパブレードの動作中には図４に示すようにワイパブレードによって画面内が暗くなりコントラストが低下するので、パターンマッチング等の画像処理による被写体の認識がしにくくなる傾向がある。本実施例においては、ズーム位置の閾値に対し望遠側か又は広角側かに応じて、適切な被写体追尾処理を実行可能とする。上記のような処理を行うことで、ワイパブレード５２が前面を通過することによる映像の変化に合わせた動作を行うことができ、ワイパを動作させた際にも、より精度の高い効果的な追尾動作を継続することができる。

本実施例の派生するシステムとして、上記では、ズーム位置についてのみを記述しているが、フォーカス位置についても考慮してもよい。また、上記では閾値Zthを１つとしたが、複数もってもよいし、Z_currentの値によって、処理２のTH_Wiperの値を変更するようにしてもよい。また、Zthは外部から変更できるようにしてもよい。

以下、本発明の第４の実施例について説明する。

構成は図１、２に示した実施例１と同様である。追尾処理装置ＣＰＵ４５の処理の流れは、追尾処理（Ｓ１６）の部分が異なるため、実施例４の追尾処理の詳細である追尾処理４について、図１２のフローチャートにもとづいて説明する。

実施例１と同様に、追尾処理装置ＣＰＵ４５は、ワイパが動作中であるかを判定する（Ｓ２１）。ワイパが動作していない場合には、図１３(a)のように更新禁止領域Rを通常の領域R_Normalとする（Ｓ５２）。一方、ワイパが動作している場合には、図１３(b)のように更新禁止領域Rを通常のR_Normalよりも撮影画像中心側に狭めたR_Wiperとする（Ｓ５１）。以下、Ｓ２２〜Ｓ２７は実施例１と同様である。

このように、ワイパ動作中は被写体をより画面（撮影映像内）の中心に近づけておくという、画面内で被写体を捕捉し続けることを優先させた制御を実施することで、被写体の速度が急変しても画面外に出てしまうリスクを低減させることができる。

また、ワイパの動作中の更新禁止領域R_Wiperを、ワイパの非動作中の更新禁止領域R_Normalよりも撮影画像中心側に狭めた領域としたが、本発明はこれに限定されることはない。被写体の、予測される速度の変化する方向が既知である場合は、撮影画面から被写体を逸脱させることなく、より確実に撮影画面内で被写体を追尾し続けるために、更新禁止領域の中心位置を画面中心以外のより適切な位置に設定しても良い。例えば、右から左へある速度で移動中の被写体が急減速する可能性がある場合は、予め更新禁止領域を撮影画面内の中心より左側に設定しておくことで、被写体が急減速してそれに応じて後からパン速度を変更して追尾する場合でも撮影画面から被写体を逸脱させにくくなる。

本実施例の派生するシステムとして、上記では、ワイパ動作中の更新禁止領域R_Wiperを一定としているが、ワイパの位置によって、変化させてもよい。更新禁止領域R_NormalおよびR_Wiperの値は、固定値としてもよいし、外部から変更可能としてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０雲台
２０カメラ
３０レンズ
４０追尾処理装置
５１フロントガラス（光学面）
５２ワイパブレード
５３ワイパモータ

Claims

撮影装置と、
前記撮影装置の撮影方向を変更する雲台装置と、
前記撮影装置の光学面を払拭するワイパと、
前記撮影装置からの映像信号による画像に対して被写体の認識を行う認識手段と、
前記撮影装置および前記雲台装置の駆動ならびに前記認識手段を制御する制御手段と、
を有し、
前記撮影装置は、ズームレンズを有し、
前記制御手段は、
前記撮影装置のズーム位置が閾値より広角側の場合、前記ワイパの非動作中には、前記被写体を追尾するための前記駆動の速度を、前記認識による前記被写体の前記画像内での位置に基づく速度とし、前記ワイパの動作中には、前記速度を更新せず、
前記ズーム位置が前記閾値より広角側でない場合、前記ワイパの非動作中には、前記認識のための第１閾値を設定し、前記速度を、当該認識による前記被写体の前記画像内での位置に基づく速度とし、前記ワイパの動作中には、前記第１閾値より低い、前記認識のための第２閾値を設定し、前記速度を、当該認識による前記被写体の前記画像内での位置に基づく速度とする、
ことを特徴とする追尾装置。
前記雲台装置は、前記撮影方向を変更するための駆動手段を有することを特徴とする請求項１に記載の追尾装置。
前記制御手段は、前記認識による前記被写体の前記画像内での位置が更新禁止領域内にある場合には前記速度を更新せず、前記ワイパの動作中は前記ワイパの非動作中より前記更新禁止領域を狭く設定することを特徴とする請求項１又は２に記載の追尾装置。
前記制御手段は、前記ワイパの動作中の前記更新禁止領域を前記ワイパの非動作中の前記更新禁止領域の内側に設定することを特徴とする請求項３に記載の追尾装置。
前記制御手段は、前記ワイパの駆動中により前記ワイパの動作中を判定することを特徴とする請求項１乃至４のいずれか１項に記載の追尾装置。
前記ワイパのワイパブレードの位置を検出する位置検出手段を有し、
前記制御手段は、前記位置検出手段により検出された前記ワイパブレードの位置に基づいて前記ワイパの動作中を判定することを特徴とする請求項１乃至４のいずれか１項に記載の追尾装置。
前記駆動は、前記撮影方向または前記ズーム位置を変更する駆動を含むことを特徴とする請求項１乃至６のいずれか１項に記載の追尾装置。
前記制御手段は、前記ワイパの非動作中は、前記画像における前記被写体の大きさに基づく前記速度で前記ズーム位置を変更する駆動を制御することを特徴とする請求項７に記載の追尾装置。
前記認識手段は、パターンマッチングを用いる方法、色相を用いる方法または動体検知による方法により、前記画像における前記被写体を認識することを特徴とする請求項１乃至８のいずれか１項に記載の追尾装置。